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Introduction 



Le but de ce travail est l'étude de la continuité L p de certains opérateurs sur deux classes 
de groupes nilpotents de pas deux, avec comme outils, des formules de Plancherel et des 
fonctions sphériques. 

La première classe de groupes est formée des groupes appelés de type H (ou de type 
Heisenberg), la seconde des groupes nilpotents libres à deux pas. On notera N v>2 le groupe 
nilpotent libre de pas deux à v générateurs tout au long de ce travail. Pour ce dernier, nous 
avons développé un calcul de Fourier radial. 

Les opérateurs principalement étudiés sont les fonctions maximales associées aux sphères 
de Korânyi et leurs fonctions d'aires, ainsi que les opérateurs de convolution définis grâce au 
calcul de Fourier radial sur N V;2 (problème des multiplicateurs). 

Fonctions maximales 

Les fonctions maximales associées à des boules, des sphères. . . sont des outils naturels 
pour démontrer la convergence presque partout des moyennes de fonctions sur ces supports 
(théorème de différentiation de Lebesgue) ; de plus, des fonctions maximales associées à 
des semi-groupes d'opérateurs interviennent dans des problèmes ergodiques (théorème de 
Wiener). Dans une autre direction, certaines fonctions maximales permettent le contrôle 
d'opérateurs (théorème des intégrales singulières [CW71] etc. . . ). 

Sur les groupes de Lie, plusieurs fonctions maximales ont déjà été étudiées. Elles pro- 
viennent d'une part de la recherche de résultats analogues au théorème de Wiener : des 
inégalités maximales L p pour des familles de mesures formant un semi-groupe, sont connues 
sur des groupes de Lie semi-simples [Nev94, Nev97, MNSOO, NS97] et sur le groupe de Heisen- 
berg [NT97]. Leurs démonstrations reposent sur la méthode classique d'étude des fonctions 
maximales de semi-groupes d'opérateurs [Ste70], ainsi que sur l'évaluation de fonctions d'aire 
grâce à des propriétés spectrales. 

D'autre part, sur l'espace euclidien ou plus généralement sur les groupes homogènes munis 
d'une norme homogène [FS82], on s'intéresse à la fonction maximale associée aux dilatées 
d'une surface donnée ; par exemple, la continuité L p des fonctions maximales associées à la 
sphère euclidienne [Ste76, SW78], ou à la sphère de Korânyi sur le groupe de Heisenberg 
[Cow81] a déjà été démontrée. D'autres résultats ont été obtenus pour des fonctions maxi- 
males associées à un support dont la courbure rotationelle ne s'annule pas, en utilisant les 
intégrales oscillantes [SS90, Sch98, MA03]. 
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Nos résultats. Un chapitre de cette thèse est consacré à la démonstration d'inégalités LP 
pour la fonction maximale sphérique sur les groupes de type H et N v>2 et leur fonctions 
d'aires, en utilisant le même point de départ que [Ste76]. Ce résultat est déjà connu pour 
le groupe de Heisenberg [Cow81] et plus généralement pour les groupes de type H [Sch98] 
(avec des indices optimaux pour p dans les deux cas), mais pas pour les groupes N v>2 . 

Notre méthode repose sur l'interpolation de la même famille analytique d'opérateurs 
que [Ste76], sur la continuité L p de la fonction maximale standard et le contrôle L 2 de 
fonctions d'aires. Dans notre cas, ce contrôle s'effectuera par des techniques spectrales proches 
de [NT97]. 

Transformée de Fourier radiale 

Les propriétés spectrales utilisées sont celles données par les fonctions sphériques bornées. 
Leurs expressions sont bien connues sur le groupe de Heisenberg [BJR92], tout comme leurs 
généralisations sur les groupes de type H au sens de Damek et Ricci [DR92]. 

Nos résultats. Nous avons construit les fonctions sphériques bornées du groupe N Vj2 , à 
l'aide de la théorie des représentations du groupe produit semi-direct de N Vj2 par le groupe 
orthogonal ou spécial orthogonal. Elles n'étaient pas jusqu'alors explicites. Nous avons aussi 
confronté les expressions trouvées à d'autres caractérisations, surtout celles données par les 
représentations sur N Vt2 . Nous avons ensuite explicité les mesures de Plancherel radiale et non 
radiale. Les résultats sont concordants entre eux, et avec l'étude de Strichartz [Str91, section 
6]. Nous avons ainsi obtenu la formule de Plancherel sphérique et la formule d'inversion 
radiale. 

Multiplicateurs de Fourier sur N v ^ 

Nous nous sommes intéressés ensuite au problème des multiplicateurs définis par passage 
en Fourier sphérique sur le groupe N Vj2 . Grâce au calcul de Fourier sphérique et à de longs 
calculs proches du cas des groupes de type H [MRS96], nous avons obtenu certaines estima- 
tions L 2 à poids sur le groupe N v>2 . En appliquant le théorème des intégrales singulières, nous 
avons alors abouti à des conditions suffisantes pour le problème des multiplicateurs en Fou- 
rier. Cependant, ces conditions ne sont pas satisfaites même pour les fonctions constantes. 
L'objectif de cette première étude est d'exposer nos solutions à quelques points techniques. 
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Présentation de ce document et de nos résultats 



Organisation de ce document. Dans le premier chapitre, nous donnons les définitions, 
les notations sur les fonctions maximales des deux classes de groupes que nous étudions : les 
groupes de type H et les groupes N v>2 . Nous rappelons également la notion de fonctions sphé- 
riques qui existent sur les groupes de type H, et des éléments de la théorie des représentations 
qui nous permettront de construire les fonctions sphériques sur les groupes N Vj2 . 

Dans le chapitre 2, nous montrons des inégalités L p pour la fonction maximale sphérique 
sur les groupes de type H et sur les groupes N v>2 . Cela repose sur le contrôle L 2 de fonctions 
d'aire. 

Dans le chapitre 3, nous donnons les expressions des fonctions sphériques et la formule 
de Plancherel radiale. 

Dans le chapitre 4, grâce au calcul de Fourier précédemment développé, nous montrons 
le contrôle L 2 de fonction d'aire pour N v>2 , et nous étudions le problème des multiplicateurs 
sur N Vj2 . 

Énoncés des résultats. Jusqu'à la fin de ce chapitre d'introduction, nous présentons 
techniquement les résultats suivants : 

- les inégalités maximales sphériques sur les groupes de type H et sur les groupes N Vt2 , 

- le calcul de Fourier du groupe N Vt2 . 

Fonction maximale sphérique 

Nous considérons un groupe de Lie N de type H ou N v>2 . C'est un groupe de Lie nilpotent 
connexe simplement connexe que l'on peut identifier via l'exponentielle à son algèbre de 
Lie M. 

L'algèbre de Lie Af est stratifiée : Af = V © Z avec [V, V] = Z et [Af, Z] = {0} (Z est 
le centre de cette algèbre). On définit les dilatations naturellement associées à une algèbre 
stratifiée de pas deux : 

Vr>0, VX eV ,Z G Z 5 r .(X + Z) = rX + r 2 Z . 

Elles induisent des dilatations n \— > r.n, r > sur le groupe N. De plus, les deux sous- 
espaces V et Z sont naturellement munis de normes euclidiennes. On peut ainsi définir la 
norme de Korânyi sur N : 

\n\ = (\X\ A + \Z\ 2 Y où n = exp(X + Z), XeV, ZeZ . 

On considère une base orthonormée pour V et Z dans le cas d'un groupe de type H, et la 
base canonique formée par les générateurs et leurs crochets dans le cas d'un groupe nilpotent 
libre à deux pas. On peut ainsi fixer une mesure de Lebesgue sur M puis une mesure de Haar 
dn sur N. 



9 



Cette norme et cette mesure étant fixées, on note \x la mesure supportée par la sphère 
unité S\ := {n, \n\ = 1}, pour laquelle on a le passage en coordonnées polaires : 

V / , / f(n)dn — I / f (r.n)dfi(n)r Q ~ 1 dr . 
Jn Jo JSi 

où Q = dimV + 2dim^ est la dimension homogène du groupe N. La fonction maximale 
sphérique est l'opérateur A donné pour une fonction / localement intégrable sur N par : 

A.f(n) := sup | / f(n r.n'~ 1 )dfi(n')\ , n G iV . 

r>0 Js 1 

Nous avons étudié les propriétés de cette fonction maximale A pour la norme LP ; les espaces 
L p que nous considérons sont relatifs à la mesure de Haar dn : 

Wfhr = (J N \f(n)\ p dn 

Nous montrons des inégalités maximales sphériques L p sur N dans le chapitre 2 : 
Théorème 1 (Inégalité W pour A) 

Notons v = dim V et z = dimZ. La fonction maximale sphérique vérifie des inégalités L p , 

• 2 < p < oo si v = 4, 

• si v > 4, dans le cas d'un groupe de type H, (v — 2)/(t> — 3) < p < oo, 

• si v > 4, dans le cas N = N v>2 , 2/i /(2/i — 1) < p < oo où h est le minimum de v + 1 
et de la partie entière de (z — l)/4, 

c'est-à-dire qu'il existe une constante C qui dépend seulement de v, z,p telle que : 

V/eF, l|A/|| iP <C||/|| iP . 

Pour démontrer ce théorème, nous avons besoin des expressions explicites des fonctions 
sphériques bornées ; elles sont connues sur les groupes de type H [DR92] ; nous les avons 
explicitées sur N v>2 : 

Calcul de Fourier radial sur N v ^ 

On note Xi, . . . ,X V les générateurs de l'algèbre de Lie du groupe N v>2 , et v = 2v' ou 
v = 2v' + 1. Les vecteurs Xi, . . . ,X V engendre une base d'un sous-espace V, que l'on munit 
du produit scalaire pour laquelle la base (X ± , . . . ,X V ) est orthogonale. 

On convient aussi de noter le simplexe : C := {À^ > ... > À*/ > 0}, et son adhérence 
£ := {A* > . . . > À*, > 0}. A un élément non nul A* G £, on associe les entiers t>o, i>i, le 
multi-indice d'entier m G N 1 " 1 et le t>i-uplet (Ai, . . . , A„J G W 1 de la manière suivante : 

- l'entier v est tel que A* o > et A* o+1 = : c'est le nombre de A* non nuls ; 

- vi est le nombre de A* non nuls distincts, et les Xj sont les A* non nuls et distincts, 
ordonnés de façon strictement décroissante : 

{Aî > . . . > A; > 0} = {Ai > . . . > X V1 > 0} ; 
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- on note rrij le nombre de paramètres À* égaux à Xj, on définit également : m := m' Q := 
et m'j := J2l=i m i pour j — 1, . . . Vi ; on a m' Vl :=m 1 + ... + rn Vl -i + m Vl = v . 

Nous avons obtenu les expressions explicites des fonctions sphériques bornées de la paire 
de Guelfand (N Vf2 , SO(v )) et (N v>2 ,0(v)). Nous présentons ces dernières : 

Théorème 2 (Fonctions sphériques sur N v>2 ,0(v)) 

Les paramètres des fonctions sphériques bornées sont r*,A*, l, décrits dans ce qui suit : 

1. A* G C; 

lorsque A* est non nul, on lui associe comme décrit ci-dessus les entiers vo, v±, le 
multi-indice d'entier m G N 1 ' 1 et le Vi-uplet (Ai, . . . , A„J G W" 1 ; 

2. le multi-indice l G N" 1 si A* ^ 0, rien sinon : 

3. r* > 0, avec r* = si 2v = v. 

Avec ces paramètres, les fonctions sphériques bornées pour N Vj2 , 0(v) sont données par : 
Si A* / 

<jf*^\n) = [ Q r *' k *\k.n)dk, n G N v , 2 , 
où @ r *' A *' 1 est la fonction sur N v>2 donnée pour n = exp(X + A) G N Vt2 par : 

où on a décomposé X = Y^=i x jXj et A = Ylij a i,j[Xii Xj] et noté : 

- £„ iQ la fonction de Laguerre normalisée de degré n et de paramètre a (voir sous sec- 
tion 5.1.3), 

- prj la projection orthogonale sur l'espace vectoriel engendré par les 2m j vecteurs : 

X 2i -i , X 2i , m^_ 1 < i < m'j . 

Si A* = 

<j) r *' (n) — Jv=2(r*\X\) , n = exp(X + A) G N v>2 , 
où J a est la fonction de Bessel réduite (voir sous section 5.1.2). 

Ce théorème sera démontré dans le chapitre 3, ainsi que le théorème donnant les fonctions 
sphériques bornées pour SO(v). 

Les fonctions sphériques sont fonctions propres des opérateurs différentiels sur N Vj2 in- 
variant à gauche et sous SO(v), en particulier du laplacien de Kohn L = —J2iXf. Dans 
le même chapitre, nous donnerons les valeurs propres associées à L pour chaque fonction 
sphérique bornée : avec les notations du théorème 2, on a dans les cas A* ^ et A* = 
respectivement : 

L.<f> r * A ** = (^X^lj + m^+r* 2 ^^^' 1 et L.<jT' = r*V*>° . 
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Dans le chapitre 4, nous donnons l'expression de la mesure de Plancherel radiale pour 

N v , 2 ,0(v): 



Théorème 3 (Mesure de Plancherel radiale) 

La mesure de Plancherel radiale est supportée par les fonctions sphériques r * ,A *'', dont les 
paramètres X*, A*, l sont dans l'ensemble V v = V donné par : 

V 2v > = {(0,A*,Z) , A* eC, le W'} , 
V 2vl+1 = {( r *, A*,l), r* e R + , A* e £ , / G N v '} . 

En identifiant les fonctions r * ,A *'', et leurs paramètres r*, A*, /, la mesure de Plancherel est 
la mesure sur l'ensemble V produit tensoriel : 

- de la mesure sur le simplexe C donnée par : 

UjXjdriiA) , A = (Ai, . . . , À„/) , 

où r] est la mesure sur le simplexe C dont l'expression est donnée dans le lemme 5.11, 

- de la mesure de comptage sur W , 

- et si v — 2v' + 1 de la mesure de Lebesgue dr* sur IR + , 

v(v — Ij / 

(2tt) 5 " siv = 2v', 

2(2^y Vj ^ ÏL ^ v ' si v = 2v' + 1 . 



c(v) 



Il découle des théorèmes 2 et 3 un calcul de Fourier radial sur N Vi2 , 0(v) ; on étudie alors 
le problème des multiplicateurs de Fourier dans la section 4.2. 
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Chapitre 1 
Généralités 



Dans la première section de ce chapitre, nous rappelons les définitions des fonctions maxi- 
males sphériques, puis nous présentons les groupes de type H et les groupes libres nilpotents 
à deux pas ainsi que leurs structures homogènes. Nous donnons ensuite les propriétés carac- 
téristiques des fonctions sphériques dans la seconde section, puis dans une troisième section, 
des éléments sur la théorie des représentations. 

1.1 Groupes et fonctions maximales étudiés 

Dans ce travail, tous les groupes de Lie nilpotents sont supposés CONNEXES SIMPLE- 
MENT CONNEXES. Lorsqu'une mesure de Haar dn est fixée sur un groupe N nilpotent, 
pour une fonction / localement intégrable sur N, on définit sa norme L p : 



on notera aussi parfois ||/|| 2 = ||/||. 

1.1.1 Fonctions maximales sphériques 

Dans cette section, on considère un groupe N homogène muni d'une norme homogène 
[FS82] ; on note n i— > |n| la norme homogène, n h- > r.n, r > 0, la famille de dilatations, et 
Q la dimension homogène. Lorsqu'il n'y aura pas de confusion sur la structure choisie, on 
omettra le qualificatif "homogène". 

Le groupe N est donc nilpotent. 

On suppose qu'une mesure de Haar dn est fixée. Pour un ensemble E C N, on note 
r.E = {r.n, n G E} l'ensemble dilaté, et \E\ sa mesure de Haar lorsque E est mesurable; 
toujours dans ce cas, on a \r.E\ = r Q \E\. 

On définit comme dans le cas euclidien, la boule homogène centrée en n de rayon r : 




B(n,r) := {n' G N 



nn' 1 \ < r} 
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et la sphère homogène centrée en n de rayon r : 

S(n,r) := {n' e N : \nn'~ l \ = r} . 

En particulier, la boule unité -6(0, 1) est notée B 1 , et la sphère unité 5(0, 1), Si. 

Il existe une unique mesure de Radon \i sur la sphère unité S\ telle que l'on ait l'égalité 
[FS82], proposition 1.15 : 

/» roc r> 

V/ G L\N), \ f(n)dn = / f(rn)dfi(n)r Q - l dr . (1.1) 

JN Jr=0 JS! 

On note /j, s la mesure dilatée de la mesure \i dans le sens suivant : 



f(s.n)du,(n) = / f(ri)dfi a (n) . 

Si Js.Si 

Nous définissons alors la fonction maximale sphérique 

A.f : = sup \fi 8 * f\ . 

s>0 

Pour une fonction / localement intégrable sur N, la fonction maximale A.f est mesurable 
(il suffit de considérer le supremum sur tous les rationels positifs). 

Nous nous sommes intéressés aux propriétés L p de la fonction maximale A : 

V/, \\A.f\\ LP <C p \\f\\ LP . 

Rappelons la définition de la fonction maximale standard que nous noterons Ai pour une 
fonction / localement intégrable sur iV : 



M.f(n) := / / f(n')dn' neN 
\B(n,r)\ J B , r) 



?(n,r) 

Il est bien connu que cette fonction maximale vérifie des inégalités L p , 1 < p < oo et L 1 -faible, 
[CW71, théorème fondamental des intégrales singulières] : 

V/ , \\M.f\\ LP < C p \\f\\ LP . (1.2) 

On en déduit le corollaire : 
Corollaire 1.1 

Soit F : N i— > R une fonction intégrable positive telle que F(n) = m(\n\) où m est une fonc- 
tion définie sur M + , décroissante. On définit les fonctions F t , t > par F t (n) = Fit^ 1 .n) , 
et leurs opérateurs de convolution T t : / i— > F t * f . 

Alors la famille d'opérateur {T t , t > 0} vérifie une inégalité maximale : L p , 1 < p < oo : 



sup \T t .f\ 



< C IkIIli \\L" 



Lp 

où C est une constante qui ne dépend que de la strucure homogène du groupe N. 

Mais pour la fonction maximale sphérique, le cas général n'est pas connu. Il l'est sur 
l'espace euclidien R n [Ste76], et sur le groupe de Heisenberg M n pour la norme de Korânyi 
[Cow81, Sch98] avec des indices pour p optimaux. 
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1.1.2 Groupes de type Heisenberg 



Introduits par Kaplan [Kap80], les groupes de type Heisenberg (ou de type H) généralisent 
les groupes de Heisenberg dans le sens où les solutions élémentaires du sous-laplacien sont 
formellement identiques. 

Définition 1.2 

SoitAf une algèbre de Lie. N est une algèbre de type H (ou de type Heisenberg) lorsqu'elle 
vérifie les trois conditions suivantes : 

(1 ) En tant qu'espace vectoriel, M est muni d'un produit scalaire noté < , > et se décom- 
pose en somme directe orthogonale de deux sous-espaces non nuls V et Z : M = V @ Z . 

(2) En tant qu'algèbre de Lie, [V, V] C Z et [Af, Z] = {0}. En particulier, cette algèbre 
de Lie est nilpotente. 

Lorsque les conditions (1 ) et (2) sont satisfaites, on définit l'application J : Z — > End V par : 

vx, x' ev,vz ez, < J(z)x, x' > = < z, [x, x'} > . 

(3) Pour tout Z G Z, on a : J 2 {Z) = -\Z\ 2 ld v . 

Un groupe de type H est un groupe de lie N dont l'algèbre de Lie M est de type H 

Lorsque N est un groupe de type H avec les notations de la définition ci-dessus, on a 
[V, V] = Z et Z est le centre de l'algèbre de Lie. On identifie N ~ N ~ V © Z pour noter 
n = (X, A) G N. 

Remarque 1 L'application J est linéaire, inversible et à valeurs dans l'ensemble des endo- 
morphismes antisymétriques de l'espace vectoriel V. En conséquence, l'espace vectoriel V est 
de dimension paire. 

Remarque 2 La condition (3) établit le lien entre la structure euclidienne et celle de Lie. 
Elle est équivalente à la condition (Sbis) suivante : 

(Sbis) Pour tout X G V, \X\ = 1, &d(X) est une isométrie de (ker ad(X))- 1 sur Z. 
En conséquence, on a : dimZ < dimV. 



Exemple : le groupe de Heisenberg. Dans ce travail, on choisit la loi suivante sur le 
groupe de Heisenberg H n = C n x I : 

(z 1 ,...,z n ,t).(z' 1 ,...,z' n ,t l ) = (z 1 + z[,...,z n + z' n ,t + t' + ^^2^sz i z' i ) . 



Son algèbre de Lie s'identifie comme espace vectoriel à R 2n ©IL Le centre de cette algèbre est 
Z = R(0, 1) ~ R. Sa structure d'algèbre de type H correspond à des matrices J t ,t G Z ~ R 
de taille 2n, diagonalisées par bloc 2-2, dont les n blocs 2-2 sont tous de la forme : 



-1 

1 



Un produit direct de groupes de Heisenberg (ou de type H) étant encore un groupe de type H ; 
on obtient ainsi une grande classe d'exemples de groupes de type H. 
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1.1.3 Groupes nilpotents libres à deux pas 

On définit d'abord l'algèbre de Lie nilpotente libre à deux pas et v générateurs. Heuris- 
tiquement, c'est l'algèbre de Lie nilpotente de pas deux engendrée par v vecteurs libres, tels 
que les seules relations entre leurs crochets soient celles nécessaires à l'anticommutativité. 
Pour des pas quelconques, les algèbres de Lie libres nilpotentes se définissent par propriété 
universelle [Jac62, Chap.V §4]. 

Définition 1.3 

Une algèbre de Lie libre nilpotente à deux pas et v générateurs est une algèbre de Lie 
qui admet en tant qu'espace vectoriel une base : 

Xi, 1 < % < v ; Xij , 1 < % < j < v , telle que X id = [Xi, Xj],i < j . 

Elle est unique à isomorphisme près et on la note M v ^- 

Les bases Xi, . . . , X v et X id , i < j sont appelées canoniques dans la suite. 

On notera V l'espace vectoriel engendré par les vecteurs X iy i = 1, . . . ,v, et Z l'espace 
vectoriel engendré par les vecteurs X id ,i < j. Le sous-espace Z est le centre de l'algèbre de 
Lie ; il est de dimension z = v(v — l)/2. 

On convient tout au long de ce travail que lorsque l'on écrit X + A G A/", on sous-entend 
X E V et A E Z. 

Définition 1.4 

Le groupe libre nilpotent à deux pas est le groupe nilpotent dont l'algèbre de Lie est 
N v ,2- On le note N V;2 . 

Une réalisation de 

Outre la définition par générateurs, on peut définir l'algèbre de Lie nilpotente libre à 
deux pas comme suit. Soit (V, <, >) un espace vectoriel euclidien de dimension v. On note 
O(V) le groupe des transformations orthogonales de (V, <, >) et SO(V) son sous-groupe des 
transformations spéciales orthogonales. Leur algèbre de Lie commune s'identifie à l'espace 
vectoriel des transformations antisymétriques de (V, <,>), que l'on note Z. On définit la 
somme extérieure d'espaces vectoriels : Af = V © Z. 

Définissons le crochet de Lie. On définit une application bilinéaire [.,.] sur V x V à 
valeurs dans Z par 

[X, Y].{V) = < X, V > Y- < Y, V > X X, Y, V G V, . 

On étend alors cette application bilinéaire antisymétrique sur M x J\f par : 

[•> -}MxZ = [■, -]zxAT = . 

Ce crochet vérifie trivialement l'identité de Jacobi ; il munit l'espace vectoriel M d'une struc- 
ture d'algèbre de Lie nilpotente de pas deux. 
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Action de 0(V). De plus, les groupes 0(V) et son sous-groupe SO(V) agissent d'une 
part, par automorphisme sur V, et d'autre part, par la représentation adjointe Adz sur leur 
algèbre de Lie commune Z. On peut donc définir une action de 0(V) et de SO(V) sur 
l'algèbre de Lie N '. Montrons qu'elle respecte le crochet ; il suffit de voir pour X, Y, V G V 
et k E 0(V) : 

[k.X, k.Y](V) = < k.X, V > k.Y- < k.Y, V > k.X 
= k. (< X* k.V > Y- < Y* k.V > X) 
= k.[X,Y](k-\V) = Ad z k.[X,Y] . 

On a donc une action par automorphisme du groupe O(V) (et de son sous- groupe SO(V)) 
sur l'algèbre N ' . 

Produit scalaire sur Z. L'application donnée par X A Y i— > [X, Y], s'étend en un iso- 
morphisme (d'espace vectoriel) de A 2 (V) sur Z ; et les éléments [X, Y] sont des générateurs 
de Z. Comme sur A(V) 2 , on définit le produit scalaire de Z en étendant par bilinéarité la 
forme suivante : 

< [X, Y], [X', Y'}> = < X, X' >< Y, Y' > - < X, Y' >< X', Y > . 

On remarque < [X,Y],[X' ,Y'] >=< [X, Y]X', Y' >. Et donc grâce à l'identification 
entre Z et Z* par le produit scalaire, on a pour A* G Z* et X, Y G V : 

< A*,[X,Y] > = < A*.X,Y > . (1.3) 

Lien avec la définition par générateurs. 

Fixons une base orthonormale Xi, . . . , X v de V ; alors les vecteurs X it j := [Xi, Xj],i < j 
forment une base de Z. Ainsi, l'algèbre de Lie M s'identifie à l'algèbre de Lie nilpotente libre 
à deux pas avec pour générateurs Xi, . . . , X v . 

La base X it j, i < j est orthonormale pour le produit scalaire de Z ; elle permet d'identifier 
l'espace vectoriel Z à l'ensemble A v des matrices antisymétriques de taille v. 

L'égalité (1.3) se redémontrent alors en développant A* et X, Y sur les bases canoniques. 

Action de K = 0(v) ou K = SO(v). Par leurs bases canoniques, on identifie V àl" 
et Z à A v ; on a donc les deux actions par automorphismes : 

f K xV — > V f K xZ — > Z 

\ k,X i — > k.X \ h, A i — ► k.A = kAk~ l 

On vérifie facilement : k.[X, X'] = [k.X, k.X'] en développant X et X' sur la base canonique. 
On retrouve l'action (par automorphismes) du groupe K sur l'algèbre de Lie J\f v> 2, puis sur 
le groupe N v>2 . 
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1.1.4 Choix de la structure de groupe homogène. 

Soit N un groupe de type H, ou un groupe libre nilpotent à deux pas, et J\f son algèbre 
de Lie. On écrit Af = V © Z en reprenant les notations des définitions 1.3 et 1.2. L'algèbre 
M est stratifiée à deux pas [FS82]. 

On équipe alors le groupe de dilatations adaptées à la stratification : 

VXeV,ZeZ Vr>0 r.exp(X + Z) = exp(rX + r 2 Z) , 
et d'une norme homogène "de Korânyi" : 

vx eV,z ez | ex P (x + z\) = (\x\ 4 + \z\ 2 Y . 

où les normes euclidiennes sur V et Z sont choisies de la manière suivante : 

- si N est un groupe de type H, ces normes euclidiennes sont issues de la norme eucli- 
dienne pour M ; 

- si N — N Vt 2 est un groupe libre nilpotent à deux pas, ces normes euclidiennes sont celles 
pour lesquelles les bases Xi, 1 < % < v et X it j, i < j sont orthogonales respectivement. 

Le groupe N est ainsi muni de la structure naturelle de groupe homogène avec une norme 
homogène pour un groupe stratifié. La dimension homogène est Q = dimV + 2dimZ . 
Nous fixons la mesure de Haar suivante sur N : 

I f( n )dn =11 /(exp(X + Z))dXdZ , 
Jn Jv Jz 

où les mesures de Lebesgues dX, dZ sur V et Z sont fixées telles que : 

- si N est un groupe de type H, une base orthonormale sur chacun des sous espaces V 
et Z donne lieu à deux mesures de Lebesgues dX et dZ sur V et Z respectivement ; 

- si N — N Vt 2 est un groupe libre nilpotent à deux pas, les mesures de Lebesgues sur 
V et Z sont celles données par les bases canoniques Xi, 1 < i < v et X it j,i < j 
respectivement. 

1.2 Fonctions sphériques 

Dans cette section, on rappelle d'abord les différentes définitions équivalentes des fonc- 
tions sphériques. Puis, on donne les définitions des paires de Guelfand et leurs propriétés. 
Nous illustrons alors ces notions par l'exemple du groupe de Heisenberg. On donne également 
leurs généralisations au sens de [DR92] sur les groupes de type H. Enfin, on précise l'action 
du groupe spécial orthogonal sur le groupe libre nilpotent à deux pas qui en fait une paire 
de Guelfand. 

Pour ce qui suit, on renvoit aux cours [Far82] et au livre [Hel62]. 

Dans ces rappels et la première sous-section, on considère un groupe G, localement com- 
pact, et un de ses sous- groupes compacts K, sur lesquels sont fixées des mesures de Haar : 
dg sur G, et dk (de masse 1) sur K. 
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Définition 1.5 (Fonctions sphériques et caractères) 

Une fonction sphérique est une fonction $ continue sur G, biinvariante par K (i.e. invariante 
sous les actions à gauche et à droite de K), telle que l'application : 



soit un caractère non nul de l'algèbre de convolution des fonctions continues, à support 
compact, biinvariantes par K ; c'est-à-dire qu'elle doit vérifier x(fi * fz) = x(/i)%(/2) pour 
toutes fonctions fi, : G — > C continues, à support compact, biinvariantes par K. 

La fonction obtenue par passage au quotient sur G/ K s'appelle encore fonction sphérique. 

On peut aussi les définir par une équation fonctionnelle (théorème 1.6), et dans le cas 
de groupe de Lie, comme fonction propre d'opérateurs différentiels (théorème 1.7), [Hel62, 
sec. 3 ch.X]. 

Théorème 1.6 (Fonctions sphériques et équation fonctionnelle) 

Soit $ 7^ une fonction continue sur G, biinvariante par K. La fonction <3> est sphérique si 
et seulement si elle vérihe : 



En particulier on a <É»(e) = 1. De plus, si $ est bornée, alors elle est bornée par 1. 

Théorème 1.7 (Fonctions sphériques et opérateurs différentiels) 

On suppose que le groupe G est un groupe de Lie connexe. Soit <f> : G / K — > C une fonction 
C°° , invariante à gauche sous K. 

La fonction <f> est sphérique si et seulement si 0(e) = 1, et est fonction propre de tous 
les opérateurs différentiels sur G/ K invariants sous l'action à gauche de G. 

1.2.1 Sur une paire de Guelfand 

On choisit une mesure de Haar dg sur G. On note L 1 (K\G/ K) le sous-espace des fonctions 
intégrables sur G, biinvariantes par K. C'est une algèbre de convolution, qui s'identifie à 
l'algèbre de convolution des fonctions intégrables sur G/K, invariantes sous l'action à droite 
de K. 

Définition 1.8 

La paire (G,K) est dite paire de Guelfand si l'algèbre de convolution L 1 (K\G/K) est 
commutative. 

Théorème 1.9 (Fonctions sphériques et spectre de L 1 (K\G/K)) 

On suppose que (G, K) est une paire de Guelfand. 

Soit $ une fonction sphérique bornée. L'application x de la déhnition 1.5 s'étend en un 
caractère non nul de l'algèbre commutative L 1 (K\G/ K). 






(1.4) 
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Réciproquement, tout caractère non nul de L l (K\G / K) est de cette forme. 
Notons Sp(L l (K\G/K)) le spectre de l'algèbre L l (K\G/K) et fi, l'ensemble des fonc- 
tions sphériques bornées. L'application : 

„ f fi — ► Sp(L\K\G/K)) 

" : l $ — > [X* ■ f Jg/G^GT 1 )^] ' 

est une bijection. C'est un homéomorphisme lorsque l'on munit le spectre de sa topologie 
usuelle faible-*, et fi de ia convergence uniforme sur tout compact de G (ou G/ K). 

Produit semi-direct <. Soient H un groupe, et K un sous-groupe du groupe d'automor- 
phismes de H. Le produit semi-direct de H par K est l'ensemble G = K x H, muni de la 
loi : 

(ki,h 1 ),(k 2 ,h 2 ) G G, (h, hi).(k 2 , h 2 ) = (fak 2 , h h.h 2 ) , 

qui donne à G un structure de groupe. On note le groupe G produit semi-direct du groupe H 
par K : G = K<H. On identifie souvent le groupe K avec le sous-groupe K x {e} C G, ainsi 
que le groupe N avec le sous-groupe {Id} x N C G. On fait de même pour leurs éléments. 

Dans ce cas, si le groupe G = K < H produit semi-direct de H par K est tel que (G, K) 
est une paire de Guelfand, on dit aussi que (H, K) est une paire de Guelfand. Les fonctions 
sur G biinvariantes par K sont en bijection avec les fonctions sur H invariantes sous K. On 
note L lfc| l'ensemble des fonctions intégrables sur H et invariantes sous K. La paire (H, K) 
est alors de Guelfand si et seulement si l'algèbre de convolution L 1 ^ est commutative. 

Nous allons illustrer la notion de paire de Guelfand en donnant un exemple dans la sous- 
section qui suit, exemple qui nous sera utile lors de la construction des fonctions sphériques 
sur le groupe N v>2 dans le chapitre 3. Il s'agit du groupe de Heisenberg W° (dont la loi a 
été rappelée dans la sous-section 1.1.2), pour l'action de certains sous-groupes K du groupe 
unitaire U vo donc du groupe d'automorphismes de HP : 

V(z, t) e W° = C° x R, u e k, u.(z, t) = (u.z, t) . 

1.2.2 Sur le groupe de Heisenberg 

Pour tout n G N, n > 1, U n désigne le groupe des matrices unitaires de taille n. On 
identifie une matrice de U n avec l'endomorphisme sur C n , qu'elle représente dans la base 
canonique. 

On se donne deux entiers i>o, Vi G N, puis un wi-uplet d'entiers m = (mi, . . . , m Vl ) G N V1 
tels que X^Li m i = v o- Nous nous intéressons à tous les groupes K de la forme : 

K(m\ vi, v ) = U mi x ... x U mvi . 

Le groupe U mj agit sur les rrij variables Zi,m!^_ x < i < m'j, où l'on a noté : 

3 

m := m' := et m'- := ^^^i , j — 1, . . .Vi 

i=l 
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On dit qu'une fonction sur W° est radiale si elle est invariante sous K(m;v ;vi) ; une 
fonction / : W° i— > C est donc radiale si et seulement si elle peut s'écrire : 

f(z,t) = f\n,...,r Vl ,t) où r 3 = J2 z i ■ ( L5 ) 

m' j _ 1 <i<m' j 

Théorème 1.10 ((ET" , K(m; v-±\ v )) ) 

a) (IF , K(m\ vi] vo)) est une paire de Guelfand. 

b) Les fonctions sphériques bornées de cette paire sont : 

1. les fonctions uj = U\j paramétrées par À G M* et l — (h, . . . , l Vl ) G N" 1 : 

«>(z,t) = e-^UC^^pr^l 2 ) , 

où on a noté pr^ la projection sur les rrij variables Zi,m!^_ x < i < m'p et C^ m la 
fonction de Laguerre normalisée (voir sous-section 5.1.3). 

2. les fonctions ou = paramétrées par fi = (fj,i, . . . , /i vi ) G M, +Vl : 

u(z,t) = Il J m i(^|pr.(z)|) , 
J= i j 

où J a est la fonction de Bessel réduite (voir sous-section 5.1.2). 

La démonstration de la partie a) est analogue à la preuve du cas (H n , U n ), [FH87] théo- 
rème V.6. 

Démonstration du théorème 1.10. a): On pose K = K(m;vi,vo). Il suffit de montrer 
que l'ensemble L 1 des fonctions radiales intégrables sur H" est une algèbre de convolution 
commutative. 

On définit le morphisme 6 du groupe HP par : 9(z,t) = (z,—t). Pour une fonction 
/ : U vt> -> C, on adopte les notations (pour h G W°, k G K) : 

f(h) = fih- 1 ) f k (h) = f(k.h), f(h) = f(6(h)) ■ 

On a alors les propriétés suivantes : 

- une fonction / est radiale si et seulement si on a : f k = f pour tout k G K ; 

- si une fonction / est radiale, alors la fonction / est aussi radiale. 

Comme le groupe K est un sous-groupe du groupe d'automorphismes de HF , on voit que 
pour deux fonctions /, g sur HF°, on a : (/ * g) k = f k *g k pour tout k G K. En conséquence, le 
produit de convolution de deux fonctions radiales est encore une fonction radiale et L X K (HF°) 
est une algèbre de convolution. 

On constate que 9 est un automorphisme involutif, et que par contre, l'inverse est un 
antiautomorphisme involutif de HP ; ainsi, pour deux fonctions f,g, on a : 

f*9 = (f*9 9 ) 9 et f*g = (g * f} . 
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De plus, on la propriété suivante : 

V/ieW°, 3k eK: 6(h) = k.h- 1 ; 

donc pour une fonction / radiale, on a : f = f. Puis pour deux fonctions radiales /, g, on 
a : 

f*9 = (f*9 9 ) 9 = (f*9Ï=9*f 

L 

L'algèbre de convolution L 1 est donc commutative. □ 

Pour la démonstration du théorème l.lO.b), on fait les remarques suivantes : d'une part, 
les groupes K(m; V\ \ v ) et HF° sont des groupes de Lie ; d'autre part, on connait l'algèbre 
des opérateurs différentiels sur W° invariants à gauche et sous K(m;vi,v ), [Hel62] chapter 
X section 2 : 

Proposition 1.11 (£)") 

L'algèbre D\ est engendrée par les sous-laplaciens : 

m' j _ 1 <i<rn' j 

et la dérivation en la variable du centre T 

La preuve du théorème l.lO.b) est analogue à (H n , U n ), [FH87] théorème V.12. Elle utilise 
les propriétés des fonctions hypergéométriques confluentes (lemme 5.4), et des fonctions de 
Bessel (lemme 5.3), ainsi que l'expression des sous-laplaciens Aj en coordonnées radiales : 

Lemme 1.12 

Soit une fonction f surW" , radiale et assez régulière. Si désigne la fonction définie en (1.5), 
on a : 

A;-/ A;./ : , ./ 1 n , 

où est l'opérateur différentiel sur les fonctions g(rj, t) donné par : 

Ah i + \ a 92 9 . , dg 1 d 2 g . 

Démonstration du théorème l.lO.b): D'après les théorèmes 1.6 et 1.7, une fonction uj : 
W° — > C est sphérique bornée si et seulement si elle est radiale, bornée par sa valeur 1 en 0, 
et fonction propre des générateurs de : 

Aj.uj = cxju , j = l,...,v 1 , (1.6) 
T.u = Pu, (1.7) 

où otj,j — 1, . . . , v± et (5 sont des nombres complexes, d'après la proposition 1.11. 
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Supposons que ui soit une telle fonction. L'opérateur T étant la dérivée selon la variable 
du centre, la solution de l'équation (1.7) est de la forme : 



u{z,t) = e pt tt(z) . 
Comme u est bornée et radiale, j3 — iX, À G R, 

Q(z) = Q(ri, . . . ,r Vl ) avec r j — 

m j_i<*< m j- 



uj étant solution des équations (1.6), l'expression radiale des sous-laplaciens (lemme 1.12) 
implique : 

Â d 2 n A dn î ~ . , 

4r i^T + 4m i-fr. + Q = > 3 = 1, • • • ,V! ; 

et Q est nécessairement de la forme : 

Q(ri, . . . ,r vi ) = fîi(ri) . . .Q v ,(r vi ) , 

où chaque fonction &j(rj) est C°°, bornée et vérifie l'équation : 

A d 2 Q, A dQj 1 
c7/-j c7r, 1 

Puisque la fonction u; est bornée par sa valeur 1 en 0, il en va de même pour 9ftu; sur HF°. 
Par conséquent, la fonction puis les fonctions sont bornée par leurs valeurs 1 en 0. 
On en déduit : 

9M2j-(0) < et donc Sto, > . (1.8) 
Nous devons distinguer deux cas À = 0, À ^ 0. 

A est nul : chaque fonction flj est une fonction C°° bornée, prenant la valeur 1 en et 
qui vérifie l'équation : 

4r 7 — -f- + 4m,— — + a,-Œ,- = . 

Q r l Q r . 

D'après le lemme 5.3, la fonction flj est donnée par £lj(rj) = J mj -\{njy/r~j) avec /i 2 = aj G M. 
Grâce à (1.8), on a aussi <x, > ; on peut ainsi supposer /ij = ^Jâj G IR + . On en déduit que 
la fonction ou = u^, fi = (/ii, . . . , /i vi ) est de la forme : 
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A n'est pas nul : on effectue les changements de variables et de fonctions suivants : 

v j = Y rj et ^'fa) = e ~^ F ^ v i) ' 3 = 1, • • • , v i ■ 

La fonction Fj(vj) vérifie alors l'équation hypergéométrique confluente (5.8) de paramètres 
m,j > et (|A|raj — aj)/(2\X\). D'après le lemme 5.4, la fonction Fj est donc la fonction 
hypergéométrique confluente : 

Fj = F(\X\m j -a j /2\X\,m j ,.) . 

De plus on voit $R(|A|toj — Oj)/(2|A|) < rrij. Et le premier paramètre peut se mettre sous la 
forme d'un entier négatif : 

1 = -lj avec lj EN , 



car sinon la fonction 



ne serait pas bornée. 



2|A| 



: r, G IR + i > e-^ Fj (}A rj) 



Ainsi, on trouve : Fj = F(-l j: m j: .) = C'^ +mj _ 1 1 L™> \ puis : 
On en déduit la forme suivante de eu = cuxj : 

^a,i(^,*) = e " ,At n i A i , mr i(y r i) où r i= 5^ z i ■ 

m' j _ 1 <i<m' j 

Réciproquement, on peut "remonter" les calculs pour voir que les solutions trouvées sont 
bien radiales, C°°, bornées par leur valeur 1 en 0, et fonctions propres communes aux opé- 
rateurs T et Aj, j — 1, . . . , v\. □ 

Il découle de cette preuve que la valeur propre associée à la fonction sphérique uj = u\j pour 
le sous-laplacien Aj vaut aj = |A|(2/j +m,j). 



1.2.3 Sur les groupes de type H 

On convient dans tout ce texte que pour tout n G N, n > 1, 0(n) désigne le groupe des 
matrices orthogonales de taille n. On confondra souvent une matrice de 0(n) et l'endomor- 
phisme qu'elle représente dans la base canonique sur M. n . 

On reprend également les notations pour un groupe N de type H de la sous-section 1.1.2, 
et on note v = dimV et z — dimZ. D'après la remarque 1, v est paire : v = 2v' . 
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Le groupe compact 0(v) agit sur l'espace V ~ W . On dit qu'une fonction est radiale 
lorsqu'elle est 0(v) -invariante. Par dualité, on définit les distributions radiales. Pour une 
classe de distributions C, on note & l'ensemble de ses distributions radiales. 

Le groupe 0(v) agit, mais généralement pas par automorphismes sur le groupe N. Il 
ne peut donc pas être question de fonctions sphériques de N sous K, ni de paire de Guel- 
fand (N,0(v)). Toutefois, dans l'article [DR92], les auteurs donnent un sens aux fonctions 
sphériques bornées, en considérant l'opérateur de radialisation sous 0(v) : 

„ r v x z - c 

; 1 ■ \ (X,Z) -> J 0(v) f(k.X,Z)dk ' 

où dk est la mesure de Haar de masse 1 du groupe compact 0(v). Cet opérateur vérifie 
les mêmes propriétés que l'opérateur analogue sur une paire de Guelfand ; les auteurs de 
l'article [DR92] définissent alors les fonctions sphériques comme les fonctions radiales au sens 
ci-dessus, et propres pour les opérateurs différentiels invariants sous radialisation. Comme 
sur le groupe de Heisenberg, ces opérateurs différentiels forment une algèbre notée qui 
admet pour générateurs : 

V 

L = -J2 X i et Ui> i = l,-..,z , 

i=i 

oùXi,...,X„ est une base orthonormale de V, et Ui, . . . , U z une base orthonormale de Z. 
Les fonctions sphériques sont explicites et ont les mêmes propriétés spectrales que dans 
le cas d'une paire de Guelfand. Nous redonnons ici une partie du contenu de cet article, 
essentiellement le théorème (3.3) page 227, avec nos notations. 

Théorème 1.13 (Fonctions sphériques sur un groupe de type H) 

L'ensemble L 1 ^ des fonctions intégrables sur N et radiales est une sous-algèbre commutative 
de ^(N) pour la convolution. 

On note Q l'union (disjointe) des ensembles de fonctions sur N : 

n L = : CeZ-{0} leN} , 

Q B = {$ r : r>0} , 
où les fonctions sont données par : 

*<ÀX,Z) = e î<C ' Z> Ây-i(^ICI|X| 2 ) , 
$ r (X,Z) = J v ,-i{r\X\) ; 

jC n>a désigne la fonction de Laguerre normalisée, et J a la fonction de Bessel réduite (voir 
section 5.1). 

Les fonctions de Q sont C°°, bornées par leur valeur 1 en 0. De plus, elles sont sphériques 
dans le sens où ce sont des fonctions continues radiales qui vérifient les deux propriétés 
suivantes : 
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1. elles vérifient l'équation fonctionelle (1.4) ; et donc, pour fi, f 2 deux distributions ra- 
diales telles que f\ * f 2 , < fi, 4> >, i = 1? 2, G Q ont un sens, on a : 

v^Gfi : <h*f2,4>> = <h,4>><Î2,4>> ; (i-9) 

2. elles sont les fonctions C°°, bornées par leur valeur 1 en 0, fonctions propres communes 
aux opérateurs différentiels de lA 

On retrouve le cas de Heisenberg N = M. n , non pas pour U n mais pour 0(2n), ce qui ne 
change rien aux fonctions sphériques. 

D'après (1.9), les fonctions sphériques sont les caractères de l'algèbre L 1 ^. Le théorème 1.9 
s'étend aussi au cas d'un groupe de type H. 

Pour le lecteur intéressé par la preuve du théorème 1 sur les groupes de type H (inégalité 
LP pour la fonction maximale pour les sphères homogènes), il est inutile d'aller plus loin 
dans cette section. 

1.2.4 Sur le groupe N V £ 

D'après [BJR90, Theorem 5.12], (N Vi 2, SO(v)) est une paire de Guelfand ; donc les fonc- 
tions intégrables invariantes sous SO(v) forment une algèbre de convolution radiale; a for- 
tiori, c'est également le cas des fonctions intégrables invariantes sous 0(v). Les distributions 
invariantes sous 0(v) seront appelées radiales. 

Théorème 1.14 

(N Vt2 , 0(v)) et (N v>2 , SO(v)) sont deux paires de Guelfand. 

Dans le chapitre 3, nous déterminons les fonctions sphériques bornées associées à cette 
paire avec la méthode suivante : comme les fonctions sphériques bornées d'une paire de 
Guelfand (G, K) sont les fonctions de type positif associées aux représentations du groupe 
G qui ont les propriétés d'être irréductible et d'avoir un vecteur if-fixe non nul, nous allons 
construire ces représentations en suivant la théorie de Mackey. 

Nous rappelons ces notions dans la section qui suit. 

1.3 Représentations 

Dans cette section, nous rappelons d'abord les propriétés des fonctions de type positif, 
puis le lien entre les fonctions sphériques bornées d'une paire de Guelfand et les représen- 
tations, ainsi que des éléments de théorie des représentations (théorèmes de Kirillov et de 
Mackey) que nous utiliserons dans le chapitre 3. 

Tout au long de ce travail, nous ne considérons que des groupes localement compacts, 
et sur ces groupes des représentations unitaires et continues sur des espaces de Hilbert 
séparables. Nous renvoyons par exemple à [Mac76] pour les définitions de représentation, 
représentation irréductible et équivalente. Pour un groupe G (localement compact), on note 
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G l'ensemble des représentations irréductibles de G quotienté par cette relation d'équivalence 
(notée ~). On confond souvent une classe et la donnée d'un de ses éléments. 

1.3.1 Cas d'une paire de Guelfand 

Voici d'abord les propriétés du sous-espace des vecteurs -fT-invariants [Far82] : 

Théorème 1.15 (Sous-espace invariant) 

Soient G un groupe et K un de ses sous-groupes compacts. 
Soit (II, 7i) une représentation de G. 

On note Hk le sous-espace des vecteurs K-invariants de H. 

- Si dimTi,K = 1, alors la représentation II est irréductible. 

- Si (G, K) est une paire de Guelfand et si II est irréductible, alors dimHK < 1. 

On peut caractériser les fonctions sphériques bornées de type positif d'une paire de Guel- 
fand à l'aide des représentations [Far82, Hel62]. Dan le cas qui va nous intéresser, les fonctions 
sphériques bornées sont de type positif [BJR90, Corollary 8.4] : 

Théorème 1.16 (Fonctions sphériques et représentations) 

Soit (G, K) une paire de Guelfand. 

a) Les fonctions sphériques bornées de type positif sont les fonctions de type positif 
$ associées à une classe de représentations irréductibles qui possèdent au moins un 
vecteur K-ûxe non nul. 

Dans ce cas, l'espace des vecteurs K-invariants est la droite C$. 

b) Si de plus G est le produit semi-direct K < N, où N est un groupe de Lie nilpotent 
connexe simplement connexe et K un groupe de Lie compact, alors les fonctions sphé- 
riques bornées sont de type positif. 

Exemple : la paire de Guelfand (K(m; v ; i>i), IF" ). Reprenons les notations et les 
résultats développés dans la sous-section 1.2.2. D'après le théorème 1.10, les fonctions sphé- 
riques bornées sont les fonctions u = ou ou = définies sur HP, ou encore leurs 
extensions au groupe entier H heis = K[m\ v ] V\) < W° : 

V (k, h) G H heis = K(m; v ; vi) < W° n u (k, h) = co(h) . 

Pour une fonction sphérique bornée u, on note (7~t u , n w ) la représentation irréductible de 
Hheis associée à fl u comme fonction de type positif, [Far82, Hel62]. 

Lemme 1.17 

- Les représentations irréductibles sur K{m; t> ; v i) < HP ayant un vecteur K{m\ vq\ v\)- 
fixe (non nul) sont les représentations (7i u , H^) associées aux fonctions de type positif 
Q u , extension des fonctions u = u x ,i, A G R*, l G Pf 1 et ui = uo^, /i G R +Vl . 
L'espace des vecteurs K[m\ v ] Vi)-ûxes pour la représentation Il w est la droite CQ^ . 
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- Sur le centre Z := {(0,t) : i G 1} du groupe de Heisenberg W° = C vo x M, ia 
représentation 11^ coïncide avec le caractère : 

f (0, t) i-> e iA * si u = uj x ,i , 
\ (0, t) i— > 1 siuj = uj^ . 

Démonstration du lemme 1.17: La première partie du lemme est une conséquence du 
théorème 1.16. 

Pour la seconde, comme la représentation 11^ est irréductible, sa restriction au centre Z 
est de dimension 1. Grâce à l'expression de uo = ou^^ou^ théorème 1.10, on calcule : 

V (0, t) G Z , V (V, t') G HP : w(*',t + = u(0,t)oj(z',t') ; 

on en déduit grâce à la définition de fl^, pour (0, t) G Z et g' = (&'; z', t') G iïh e j S : 

((Id; 0, -%') = ^(tf; ^ - = - *) 

= uj(0,-t)uj(z',t') = u(0,-t)W(g') . 

Ainsi sur Z, la représentation 11^ coïncide avec la représentation de dimension 1, donnée par 
le caractère (0, t) h- > cj(0, — t) sur la droite CQ donc sur l'espace de Hilbert tout entier. □ 

Rappelons maintenant quelques éléments de la théorie des représentations dont nous 
aurons besoin pour utiliser le théorème 1.16. 

1.3.2 Méthode des orbites 

Redonnons la méthode des orbites pour les groupes nilpotents (voir par exemple [Puk67], 
partie II, chapitre III §3 et [Kir74], §15), et appliquons-la au groupe N Vt2 - La description de 
iV est déjà connue (voir [Gav77] avec une autre méthode que celle des orbites). 

Théorème 1.18 (Kirillov) 

Soient N un groupe de Lie nilpotent et M son algèbre de Lie. 

Pour une forme linéaire f G A/"* et un polarisation A/o en f , on définit x l'homomorphisme 
dont la différentielle est if sur le sous-groupe N = expA/o, et Ind^ x la représentation 
induite par x de N Q sur N. Cette représentation est irréductible, et sa classe d'équivalence 
notée Tf ne dépend pas de la polarisation J\f en f. 

On a la bijection de Kirillov : 

f N*/n — ► N 
\ N.f i — ► N.Tf 

Nous l'appliquons au groupe libre nilpotent à deux pas noté dans cette sous section 
N = N v> 2- On note aussi ici Af = Af v ^ son algèbre de Lie, et Af* son dual ; V* et Z* 
désignent les espaces duaux de V et Z respectivement ; lorsque l'on écrit X* + A* G Af*, on 
sous-entend X* G V* et A* G Z*. 
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Les expressions des représentations Tf, f G J\f*/N, peuvent s'obtenir et s'écrire (longue- 
ment) en utilisant les bases canoniques, et l'image de leurs vecteurs par des transformations 
orthogonales ; mais cette démarche rend les choix effectués peu lisibles. Ici, nous allons uti- 
liser la seconde réalisation de l'algèbre de Lie Af = Af v ,2, que nous avons décrite dans la 
sous-section 1.1.3. 

Conventions concernant les éléments de Z* . Rappelons que l'espace vectoriel Z* est 
identifié par le produit scalaire naturel à Z, l'ensemble des endomorphismes antisymétriques. 
Supposons A* G Z* fixé. On lui associe alors la forme bilinéaire antisymétrique uja* sur V 
donnée pour X, F G V par : 

uj a *{X,Y) =<A*X,Y> . 

D'après l'égalité (1.3), on a aussi uja*{X,Y) =< A*, [X, Y] >. 

Le radical de la forme ou a* est égal au noyau ker A* de l'endomorphisme antisymé- 
trique A*] son supplémentaire orthogonale dans (V, <, >) est l'image de A*, notée ^sA* . 
Ainsi, uja* induit sur QA* la forme sympléctique notée uja*,t ', en particulier, la dimension de 
l'espace SM* est paire et sera notée 2v . 

Choix d'un sous espace isotrope. Fixons E±, un espace vectoriel maximal totalement 
isotrope pour oja*,t- Sa dimension est v . On pose E 2 = A* Ex. Comme E 1 est inclus dans le 
supplémentaire SsA* de ker A*, les sous-espaces vectoriels E\ et E 2 sont isomorphes donc la 
dimension de E 2 est aussi v . 

Par définition de uja*, t et comme E\ est totalement isotrope pour u>A*, r , on voit que 
l'espace vectoriel E 2 est aussi le supplémentaire orthogonal de Ei dans (SA*, <, >). Comme 
l'endomorphisme A* est un isomorphisme normal en restriction à ^sA*, on en déduit dans 

m*,<,>)-. 

A*E 2 = A*{E X ) L = {A*E l ) ± = E 2 = E l . 

Finalement, E 2 est aussi un sous-espace totalement isotrope de ou a*, r , qui est maximal à 
cause des dimensions. 

On note p : V — > ker A* , pi : V — > E 1 et p 2 : V — > E 2 les projections orthogonales. On a 
Id v = Po +Pl +P2- 

Définition des représentations associées. Soit X* G ker A*. On définit les représenta- 
tions (7ix*,/i* ; Ux*,a*) par ce qui suit : 

- si A* = 0, c'est la représentation de dimension 1 (i.e. TCx*,a* = C), donnée par le 
caractère : exp(X + A) \— > exp(i < X*,X >). 

- si A*^ 0, H X * A * = £ 2 (£i), F G H x *,a*, n = exp(X + A), X' G E\ : 

Ux*,A*(n).F(X') = exp(i<A*,^i Pl (X + 2X'),p 2 (X)]+A>^ 

e i<x *' x> F( Pl (X)+X') 
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On montrera dans ce qui suit, que le choix de E 1 pour la construction de cette reprsen- 
tation (Hx*,a*, Ux*,a*) avec A* ^ 0, n'en change pas la classe d'équivalence. 

Remarque 3 L'algèbre de Lie du noyau kerUx*,A* de Ux*,a* est 

(kev A* n (X*) 1 -) ® (A*) 1 , 

où (X*) ± est l'espace vectoriel orthogonal à X* dans (V, <, >), et (A*) ± est l'espace vectoriel 
orthogonal à A* dans (Z, <, >). En effet, avec les notations ci-dessus, on a l'équivalence : 

( Pl (X)=p 2 (X) = 
\/X'eE 1 U x *,A*{n).F{X') =F(X') l <X*,X>=0 

{ A = 

Remarque 4 La représentation Ux*,a* s'identifie sur le centre Z avec le caractère : 

expA — > exp(i < A*, A >) . 
Ces représentations sont celles données par la méthodes des orbites : 
Proposition 1.19 

Le représentant privilégie de chaque orbite Af*/N est f = A* + X* , où A* e Z* et X* G V* 
tel que X* e ker A* . On a {H x *,a*i U x\a*) e T f . 

On obtient donc N comme l'ensemble des classes T x *+a* des représentations Ux*,a*, avec 
A* e Z* et X* E ker A*. 

Le reste de cette sous section est consacré à la démonstration de cette proposition. 

Représentant de J\f*/N. Donnons l'expression des représentations adjointe et coadjointe 
pour n = exp(X + A) e N : 

VX' + A' G N Ad.n{X' + A') = X' + A' + [X, X'] , 

VX* + A* E M* Coad.n(X* + A*) = X* + A* - A*.X . 

Ainsi, l'orbite X./ de f — X* + A* G A/"* pour l'action coadjointe de X est l'espace affine 
X* + ÏM* + A* C Af*. Décomposons X* = (X* - X*) + X* où en identifiant V ~ V* par le 
produit scalaire, p (X*) = X * G ker A\ X* - X * G ker A* L = ÏM* ; on a Coad. exp(-(X* - 
Xq).(/) = p (X*) + A*). Ainsi, on peut choisir comme représentant privilégié d'une orbite 
Xq + A* avec Xq G ker A* . 

Construction d'une représentation associée. Fixons une forme linéaire / = X* + A* 
avec X* G ker A*. On définit la forme Bf bilinéaire antisymétrique sur M associée à / : 

WyeN : B f (V,V) = f([V,V'}) ■ 

Or on voit facilement grâce à l'égalité (1.3) : 

B f (X + A,X' + A') = f([X,X'}) =<A*,[X,X']>= w A .(X,X') . 

puis que : 
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- si A* = 0, alors Bf est nulle, et £,f — H est une polarisation en /, 

- si A* est non nul, et si E\ est un sous-espace totalement isotrope pour oja*, t , alors en 
posant E 2 := A*Ei C QA*, le sous espace Cf := E 2 (B ker A* © Z est une polarisation 
en /. 

On note 

- L = Lf = expCf le sous-groupe de N d'algèbre de Lie Cf. 

- x I e caractère sur L dont la différentielle est if. 

- U la représentation de N induite par x- 

Lorsque A* = 0, alors on a L = N, et U est la représentation sur N qui s'identifie au 
caractère x '■ 

Vn = exp(X + A) G N, = exp(i < X*, X >) . 

Plaçons-nous maintenant dans le cas A* ^ 0, et explicitons U. 

L'espace de la représentation est Tiu est l'ensemble des fonctions G : iV — > C telles que : 

1. VleL,neN G(ln) = X (l)F(n) , 

2. n -> |G(n)| G L 2 {N/L) . 

La représentation est donnée par : 

VGeHu, Vn,n'eN, U(n).G(n') = G(n'n) . 
Explicitons l'expression de la représentation (7ïu,U). 
Lemme 1.20 

Soit G G Hu et n = exp(X + A) et n' = exp(X' + A'). On a : 

U{n).G{n') = exp (î < A*, X - ([ Pl (X + 2X'),p 2 (X)} + \ Pl (X'),p 2 (X')}) + A' + A > 
e l<x *> x+x,> Goex P o Pl (X + X') . 

On utilise les notations E 2 ,p ,pi,p 2 développées plus haut (Ei étant fixé). Rappelons 

Idy = p + Pl + P2 

Démonstration 

a 
b 
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:On garde les notations du lemme. On a n'n = abc où : 

= exp(A' + A + hx',X]) , c = exp( Pl (X + X')) , 
= exp(X + X') exp(- Pl (X + X')) 
= exp(X + X'- Pl (X + X') + \[X + X', - Pl (X + X')]) 

= ex P ((p 2 +po)(X + X / ) + ^[X + X',-p 1 (X + X / )]) . 



On remarque a, b G L, donc G{n'n) = x(a)x(6)G(c). Or par définition de x, on a d'une part : 
X(o) = exp(i/(A' + A+i[X',X])) 

= exp(i < A*, A' + A > +^ < A*, [X', X] >) , 

d'autre part, 

X(b) = ex P ^f(^p 2 +p )(X + X') + ^[X + X',-p 1 (X + X')]^ 

= exp (i < X*, (pa + po)(X + X') > +^ < A*, + X', - Pl (X + X')] . 

Comme on a choisi X* G ker A*, on a < X*,pi(X + X') >= et : 

<X*,(p 2 +p )(X + X') > = <X*,X + X' > ; 

On a comme le sous espace E 1 est isotrope pour u>A*, r , 

< A*, [X + X', - Pl (X + X')] > = uj a ,{X + X', - Pl (X + X')) 

= u A *, r (( Pl +p 2 )(X + X'),- Pl (X + X')) = u A *, r (p 2 (X + X'),- Pl (X + X')) 
= <A*,[p 1 (X + X'),p 2 (X + X')]> , 

et comme le sous espace E 2 l'est aussi : 

< A*, [X',X] > = u A .(X',X) = ou A * tr (( Pl +p 2 )X', ( Pl +p 2 )X) 
= tv A *, r ( Pl (X') :P2 (X))+u; A *, r ( P2 (X') :Pl (X)) 
= < A*, [ Pl (X'),p 2 (X)} + \p 2 (X'), Pl (X)] > . 

En rassemblant les termes, on obtient donc : 

G{n'n) = exp(i<A*,A' + A>+ l -<A*,ip 1 (X'),p 2 (X)] + ip 2 (X'),p 1 (X)]>) 

exp(î < X*, X + X' > + l - < A\ [ Pl (X + X'),p 2 {X + X')] >) 
G(exp( Pl (X + X'))) , 
puis l'expression de (Hu,U). □ 

Maintenant la transformation unitaire : 

Hu — > *Hx*,a* = L 2 (Ei) 
G i — ► F = {Xi hGo exp op!(Xi))} ' 

entrelace les représentations U et Ux*,a* de X. 

Deux choix différents de sous espace E\ totalement isotrope pour u A *,r conduisent à deux 
polarisations pour la même forme linéaire / = X* + A* , et donc à deux représentations U 
équivalentes, puis à deux représentations Ux*,a* équivalentes. 

Ceci achève la démonstration de la proposition 1.19. 
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1.3.3 Description de N/G 

Nous démontrons ici le corollaire du théorème de Kirillov suivant : 
Corollaire 1.21 (N/G) 

Soient G, N deux groupes. On suppose que N est nilpotent ; on note Af son algèbre de 
Lie et Af* le dual de cette algèbre. On suppose également que G agit continûment par 
automorphismes sur N ; le groupe G agit alors sur l'ensemble N et sur le dual Af* (par 
automorphismes) : 

G x N — ► N f G x W* — > Af* 

(9,P) 1 — ► g.p={ni-+p(g- 1 .n)} 6 \(g,f) ' — ► g.f = {n i-> f(g~ 1 .n)} 

Pour un élément f G Af* , on note G.f l'orbite pour cette dernière action, et Tf la représen- 
tation de N associée par le théorème de Kirillov. 
On a pour f G Af* et g G G : 

g.T f = T g f . (1.10) 

On en déduit la bijection : 

' N\Af*/G — ► N/G 

G.f .— > G.Tf • 

Démonstration du corollaire 1.21: Montrons l'égalité (1.10). Fixons / G Af* et g & G. 
On choisit une polarisation Afo en /. On note alors g.Afç, = Aq. Comme G agit par automor- 
phismes sur N, on vérifie aisément que Aq est une polarisation en /' := g.f. On note x et 
x' les homomorphismes sur N = expAo et A^q = expA/"^ ayant pour différentielles if et if 
respectivement. On a : 

Ind^ oX = (H,n)GT / et Indj^x' = (H', W) G Tf, . 

Mesures choisies. Dans ces inductions, on suppose que les mesures ont été choisies de la 
manière suivante : 

- Les mesures dn et dno sur iV et No sont choisies telle qu'il existe une mesure dn 
sur N/No, A^-invariante et qu'elles vérifient pour toute fonction continue h à support 
compact sur iV : 

h(n)dn — i h(nrio)dno ) dn . 

Jn/No \Jn ) 

Le groupe G agit sur l'algèbre de Lie Af par automorphismes. Le jacobien du change- 
ment de variable n h- > g.n est donc la valeur absolue du déterminant de l'application 
X i— > g.X sur Af ; en particulier, il est constant sur iV; on le note | det g|. 
On définit la mesure dn' sur Nq comme la mesure-image par n h- > g.n de | det^|dno : 
c'est-à-dire pour toute fonction continue h à support compact sur Nq : 



/ h(g.n )\ det g\ dn = / h(n' )dn' 
Jn Jm 
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- On définit l'ensemble C (N;N ) des fonctions continues sur N, invariantes par N , 
qui passées au quotient sur N/N , sont à support compact; on fait de même pour 
C (N; JVq). Les mesures (positives de Radon) sur N/N s'identifient aux formes linéaires 
positives sur Co(N; N Q ) ; et de même sur N/Nq. 

Comme g est un automorphisme continu qui envoie No sur iVg, on a la bijection : 

C (N;N ) — C (N;N^) 

h i — > h(g.) : n h- > h(g.n) 

cela permet de définir dn' la mesure sur N/Nq comme la forme linéaire positive sur 
Cq(N;Nq) donnée par : 

h i — > / h(g.n)dn i.e. / h(g.n)dh = / h(n)dh' . 
Jn/n jn/n J n/n' 

La mesure dn' est iV-invariante car dn l'est ; en effet, on a pour ft, e Cq(N; Nq),tii G : 

/ h(nin)dh' = / h(ni g.n)dh = / h(g.n)dh . 
Jn/n' Jn/n Jn/Nç, 

De plus, la mesure dn' vérifie pour toute fonction h continue à support compact dans iV : 



h(n)dn = / h(g.n)\ det g\dn — \ I / h(g.(n n )) | det g \dn ] dn 

N JN Jn/No \Jn J 

= [ h(g.n g.no)) \ det g\dno ) dn — / h(n' n' )dn' J dn' . 

Jn/No \Jn J Jn/% \J% J 

par définition de dn' Q et dn'. 

Opérateur d'entrelacement entre ^.11 et II'. On pose pour une fonction u G Ti! et 
pour n G iV : {Aw}(n) = u(g.n). 

Montrons A:H' —>7ï. Soit m G 7i'. On a pour n G N et n G N : 

A.u(n n) = u(g.(n n)) = u(g.n g.n) = exp(if'(g.n ))u(g.n) , 

par définition de Ti', car g.n G ATq. Comme /' = g.f et u(g.n) = A.u(n), on a bien : 

A.u(n' n) = exp(if (n' )A.u(n)) 

De plus, la fonction \A.u\ passe au quotient en une fonction sur N/N qui est localement 
intégrable car n i— > gi.n est continue ; d'après le choix des mesures dn et dn', on a : 



/ \A.u(n)\ 2 dn = / |-u(5f.n)| 2 <in 

•/ N/Nq Jn/Nq 
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u(n)\ dn 1 = \\u\\ H , < oo ; 
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et donc A.u eH et ||Au|| w = 

Montrons g.U o A — A o IT. En effet pour g G G,u G n, n' G iV, on a : 

(g.n(n)oAtt}(n') = {n(# _1 .n) o A.u] (n') = A.u{n' g^.n) 

= u(g.(n' g^.n)) = u(g.n'n) , 
{AoU'(n).u} (n') = W (n) .u(g .n') = u(g.n' n) . 

Nous venons de montrer que A est un opérateur unitaire qui entrelace r7.II et II'. L'éga- 
lité (1-10) entre classe de représentations est donc démontrée. 

D'après cette égalité, les classes de représentations associées aux formes linéaires de G.f 
sont les éléments de G.Tf. □ 

Sous les hypothèses du corollaire précédent, pour un élément p G N, on note G p son 
groupe stabilisateur : 

G P = {g G G; g.p = p} . 
Proposition 1.22 (Stabilisateur) 

Soient N un groupe nilpotent, et K un groupe (localement compact) qui agit continûment 
sur N comme groupe d'automorphismes. On note G = K < N leur produit semi-direct ; le 
groupe G agit continûment par automorphisme sur N. 

Fixons p & N. Alors le groupe G p stabilisateur de p peut s'écrire comme K p < N, où K p 
est le sous-groupe : 

K p := {k G K : k.p = p} C K . 

On peut toujours supposer p = Tf, f G Af*, et dans ce cas : 

K p = {k G K C G : k.f G N.f} . 

Démonstration de la proposition 1.22: D'après le théorème 1.18 de Kirillov, il existe 
une forme linéaire / G M* tel que Tf = p. D'après le théorème 1.18 de Kirillov et son 
corollaire 1.21, on a : 

g G G p g.p = p g.Tf = T g . f = T f <^ g.f G N.f , 

d'où : 

Vg = (k,n)eG : geG p ^ k.f G N.f . 
On en déduit que le groupe G p peut s'écrire comme K p < N, où K p est le sous-groupe : 

K p = {k G K : k.f G N.f} C K . 
Or "en remontant les équivalences" précédentes, on voit : 

k.f G N.f Tk.f = k.T f = T f <=► k.p = p . 

On obtient la première caractérisation de K p donnée dans la proposition 1.22. □ 

Nous ne considérerons ici que le cas d'un sous groupe normal N d'un group G ; le 
groupe G agit alors sur N par conjugaison, donc sur le dual M* par la représentation coad- 
j ointe. 
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1.3.4 Théorème de Mackey 

Une partie de la théorie de Mackey décrit G en fonction de N lorsque N est un sous 
groupe distingué fermé de type I de G ; le problème est d'étendre les représentations p de N 
à leurs stabilisateurs G p lorsque le quotient N /G a une structure mesurable "raisonnable". 
Ce problème fut étudié plus avant en considérant les multiplicateurs de G p /N ; nous n'irons 
pas dans cette direction. 

Pour l'énoncé du théorème ci-dessous, nous renvoyons par exemple à [Lip74, ch. III sec.B 
theorem 2]. 

Théorème 1.23 (Mackey) 

Soient N un groupe nilpotent, et K est un groupe compact qui agit continûment sur N par 
automorphismes. On note G = K < N le produit semi-direct. 

Le groupe G agit sur N par conjugaison, donc sur N. Pour p G N , on note G p le 
stabilisateur de p, et on pose 

G p = {y G G p ; u\n est un multiple de p} . 

Alors pour p G N et v G G p , la représentation Tl v = Ind^z/ est irréductible ; G est l'union 
disjointe : 

G = y {n,; v G Gp} . 

peN/G 

Ce théorème est vrai lorsque G est un groupe localement compact et N un sous-groupe 
distingué fermé régulièrement plongé de type I de G. 

Propriétés utilisées avec le théorème 1.23 

Nous utiliserons le corollaire suivant du théorème des sous-groupes de Mackey (voir par 
exemple [Lip74, ch. II sec. A subsec.l theorem 1]) : 

Corollaire 1.24 (Théorème des sous-groupes) 

Soient Gi, G-i deux sous-groupes fermés d'un groupe G. 

Si l'ensemble des doubles classes de G sous G\ et G2 est réduit à celle de l'élément neutre, 
alors pour toute représentation v de G\, on a : 

[ Ind G^]| G2 ~ Indg nG2 fy Gl nG 2 ) • 

De plus, nous utiliserons une version faible du théorème du nombre d'entrelacement (voir 
par exemple [Lip74, ch. II sec. A lemma 5]) : 

Lemme 1.25 (Théorème du nombre d'entrelacement) 

Soient H un sous-groupe fermé d'un groupe G et 7 une représentation de H, tels que la 
variété homogène G/ H admette une mesure G-invariante finie. Le nombre de fois que la 
représentation Ind^7 contient 1 G (comme un facteur direct discret) est égale au nombre de 
fois que 7 contient 1# (comme un facteur direct discret). 
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Chapitre 2 

Fonction maximale sphérique 



Dans ce chapitre, nous démontrons le théorème 1, c'est-à-dire des inégalités L p pour 
la fonction maximale sphérique associée à la norme de Korânyi sur les groupes de type H 
ou N v> 2. Le résultat est déjà connu sur les groupes de Heisenberg [Cow81], et sur les groupes 
de type H [Sch98], mais pas pour les groupes N Vt2 - 

Tout au long des deux sections qui suivent, N désigne un groupe de type H, ou un 
groupe libre nilpotent de pas deux. On reprend les notations de la section 1.1, en particulier 
M = V © Z. On pose dim V = v et dim Z = z, Q = v + 2z et v = 2v' ou 2v' + 1. Le groupe N 
est muni de sa structure de groupe homogène et d'une norme homogène, sur lequel on a fixé 
un mesure de Haar dn (sous-section 1.1.4). On note \i la mesure pour laquelle on a le passage 
en coordonnées polaires (1.1) ; on en connait facilement l'expression (voir proposition 2.7). 
On note A la fonction maximale sphérique (sous-section 1.1.1). 

Dans les deux section qui suivent, nous montrons le théorème 1 : 

Théorème principal 2.1 (||A|| p _ +p ) 

Pour v' > 2 et pour p G [1, oo] tel que : 

a) 2 < p < oo si v' = 2, 

b) si v' > 2, dans le cas d'un groupe de type H, {v' — l)/(v' — 3/2) < p < oo, 

c) si v' > 2, dans le cas N = N Vt2 , 2/i / (2h — 1) < p < oo où h est le minimum de v + 1 
et de la partie entière de (z — l)/4, 

la fonction maximale sphérique A vérifie des inégalités LP : 

v/a p , l|A/|| iP <c||/|| LP , 

où C est une constante de v, z,p. 

Ce résultat est déjà connu sur les groupes de Heisenberg [Cow81], et on peut le déduire 
de [Sch98] pour les groupes de type H. Les indices pour p alors obtenus sont optimaux : 
p > n/(n — 1), où n = v + z est la dimension topologique du groupe. Nous n'obtiendrons pas 
l'optimalité dans le cas des groupes de type H, mais nous couvrirons le cas du groupe libre 
nilpotent de pas deux. En effet, la courbure rotationnelle de la sphère de Kornâyi du groupe 
N Vj2 s'annule sur le centre. 
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Notre démonstration va suivre le même point de départ que [Ste76] ; nous serons amenés 
à étudier les fonctions d'aires définies pour des fonctions / G S(N) de la classe de Schwartz 
sur N par : 

S j (f) := J ' £° \dï(f * » a )\*sV-ids ; 

elle repose sur les deux théorèmes suivants : 
Théorème 2.2 (\\A\\ p ^ p et ||S'|| M ) 

Soit h G N. On suppose v ' > 2 et 1 < h < (Q — 2)/2. Si on a un contrôle L 2 pour les fonctions 
d'aires ,j — 1, . . .h : 

Vj = l,...h 3C>0 VfeS(N) \\S'(f)\\ < C H/ll 

alors pour p G [1, oo] tel que : 

a) 2 < p < oo si h — 1, 

b) (2h)/(2h - 1) < p < oo si h > l, 

la fonction maximale sphérique A vérifie des inégalités L p : 

V/GL^, ||A/|| iP <C||/|| LP , 
où C est une constante de v, z,p, h. 

Le théorème ci-dessus se généralise au groupe stratifié de rang 2. 

Théorème 2.3 (||S J '|| 2 ^ 2 ) 

On suppose v' > 2. On a : 

a) dans le cas d'un groupe de type H : 

M = l,...,t/-1 V/GL 2 (iV) ||5 fc (/)|| < C H/ll , 

b) dans le cas d'un groupe N Vj2 , 

V/iGN, l<h< Z -^,v + l VfeL 2 (N) \\S h (f)\\ < C H/ll , 
où C est une constante de v, z. 

Ces deux derniers théorèmes impliquent le théorème 2.1. 



2.1 Inégalité L p , p > 2 pour A 



Le but de cette section est de démontrer le théorème 2. 2. a). Il repose sur le contrôle L 2 
de la fonction maximale pour les boules, l'interpolation de Marcinkiewicz, et la proposition 
suivante : 

Proposition 2.4 

Soit f G S(N). On a : 

A.f < QlB^M.f + ^S 1 ./ . 



^2Q 
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2.1.1 Démonstration du théorème 2. 2. a) 

Admettons la proposition 2.4, et supposons que les hypothèses du théorème 2. 2. a) sont 
vérifiées; c'est-à-dire que la fonction d'aire S 1 vérifie une inégalité L 2 . 

Montrons que A vérifie des inégalités L 2 et L°°. La fonction maximale Ai vérifie 
des inégalités W (voir (1.2)), en particulier L 2 . Comme S* 1 vérifie aussi une inégalité L 2 , on 
en déduit que c'est aussi le cas pour A ; il existe une constante C 2 > telle que : 

V/ \\A.f\\ L2 < C 2 \\f\\ L2 ■ (2.1) 

Trivialement A vérifie une inégalité L°° ; il existe une constante > telle que : 

V/ ||A/|| £ « < Coo \\f\\ Loo . (2.2) 



Interpolons. Fixons momentanément r(.) : (N, dn) 1— > R + une fonction mesurable, et 
considérons l'opérateur T défini sur les fonctions simples de N par : 

T.f(n) = (fi r(n) * f) {n) . 

D'après (2.1) et (2.2), T est borné sur L 2 et sur L°° ; d'après l'interpolation de Marcinkiewicz 
[SW71], T s'étend en un opérateur borné sur chaque L p pour 2 < p < 00, avec des constantes 
qui ne dépendent que de p,C 2 ,C 00 . Ceci est vrai pour toute fonction r(.) : (N,dn) 1— > M + 
mesurable. On peut donc repasser au supremum : la fonction maximale A vérifie une inégalité 

L p , 2 < p < 00. 

Le théorème 2. 2. a) sera ainsi démontré lorsque nous aurons prouvé la proposition 2.4. 

2.1.2 Contrôle de A par M et S 1 

Le but de cette sous-section est de démontrer la proposition 2.4. On procède comme dans 
le cas euclidien [Ste93]. 

Soit / G S(N). La fonction (s, n) 1— > / * /i s (n) est alors dérivable et de dérivée continue 
selon (s, n) G IR* + x N, et on a : 

1 f* 

f*H t (n) = J d s (s Q f * fi s (n))ds 

= J^Qs Q ~ 1 f*fi s (n)ds + -^ I s Q d s (f * fi s (n))ds , 



Pour le premier terme du membre de droite, on voit d'une part d'après la formule (1.1) 
du passage en coordonnées polaires : 

/ s^' 1 f * fi s (n)ds — fins.n 1 )dfi(n')s Q ~ 1 ds = / f(nn' 1 )dn' , 

Jo Jo JSi JB(0,t) 
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d'autre part \B(n,t)\ = \B(0,t)\ = t Q \B(0, 1)| d'où : 

1 l^i I 
tQ \B(n,t)\ 

On a donc : 



t Q Jo \B{n,t)\ J B(n>t) 



Pour le second terme, on utilise Hôlder : 

7-t 1 / rt \ - / /■/ 





< 

On a donc pour tout t > : 

\f*IH{n)\ < QlBilrj^-^ [ f{n")dn" + ^=S l .f{n 
\B{n,t)\ J B { n ,t) V 2 Q 

Prenons le supremum en t dans ce qui précède : 

A.f(n) < Q\B l \M.f(n) + -±=S 1 .f(n) . 



Ceci achève la démonstration de la proposition 2.4, et donc celle du théorème 2. 2. a). 

2.2 Inégalité L p , p < 2 pour A 

Le but de cette section est de démontrer le théorème 2.2.b). Pour cela, nous allons placer 
l'opérateur de convolution par \i dans une famille analytique d'opérateurs A a , pour laquelle 
nous montrerons des inégalités maximales à l'aide des fonctions d'aires. Nous finirons par un 
argument d'interpolation. 

Nous choisissons la même famille analytique d'opérateurs A a que dans [Ste76]. 

Proposition 2.5 (A a ) 

Nous définissons pour a G C\(— N) sur M + la fonction m a et sur N la fonction F a par : 

m a ( x ) : = 2 V — -p , x e R + et F a (n) := m a (\n\) , n e N . 
T{a) 

Pour Ko; > 0, nous définissons ainsi l'opérateur A a de convolution avec F a . Il est continu 
sur L p , 1 < p < oo. 

Cette famille d'opérateurs {A 01 } est analytique dans le demi-plan > 0, et se pro- 
longe analytiquement dans le demi-plan > 1 — h lorsque h < (Q — 2)/2 en une famille 
d'opérateurs sur la classe de fonctions S(N) de Schwartz. Pour a = 0, A est l'opérateur de 
convolution avec \i. 
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2.2.1 Famille d'opérateurs {A a } 

Le but de cette sous-section est de démontrer la proposition 2.5 On remarque : 

Lemme 2.6 

Pour > 0, F a est intégrable et radiale sur N. Pour a > 1, m a est décroissante. 
Démonstration :En effet, on a : 

-1 /-i 2\^a-l 



[ \F*(n)\dn < ! (1 Z \, r^dr , 
Jn Jo l r (a)| 



□ 



Ainsi pour ïîa > 0, l'opérateur A a est l'opérateur de convolution avec la fonction F a G 
L 1 ; c'est donc un opérateur borné sur L p , 1 < p < oo. De plus, la famille d'opérateurs 
{A a } est analytique sur le demi-plan Ko; > 0. Nous avons à montrer qu'elle se prolonge 
analytiquement, et que A est l'opérateur de convolution avec 

Nous aurons besoin de l'expression de /i : 



Proposition 2.7 

i note â n la met 

Avec les notations ci-dessus, on a pour une fonction g localement intégrable sur N : 



On note o n la mesure de la spère unité euclidienne sur W l . 



9{n 

Si 



)dp(n) = 2 T f [ «(ex P (rX+ ^T^)Z)) 



dâ z (Z)dâ v (X)r v -\l - r A )^dr . 



On remarque que la mesure p est symétrique et radiale c'est-à-dire invariante sous îiwn 1 
et sous 0{v) respectivement. 

Démonstration de la proposition 2. 7: Posons : 

I( g ) : = f g( n )dn =11 #(exp(X + Z))dXdZ . 
Jn Jv Jz 

En effectuant un passage en coordonnée polaire en X G V ~ W 1 et en Z G Z ~ W, 

i(g)= / / / giexpinx + r^dà^zy^dà^xy^dn . 

Jo Js[ v) Jo Js{ z) 
Considérons le changement de variables suivant : 



(ri,r 2 ) — > (r[,r') où r\ = r'r[ et r' A = r\ + r 2 



2 5 
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dont le jacobien est r 2 dr 2 A dr\ = 2r' A dr' A dr[. Avec ce changement de variable, on a : 



roo ri 

I(g) = 2 I I I g(r'eMr[X + (1 - r?)* Z))dâ g (Z)dâ v (X) 



o Jo Js[ v) Js[ z) 



<4* 



z-2 

iv— 1/-, r 4\ 2 /Q — 1 > / j / 

r 1 (1 — r 1 ) r ar x dr 



De l'unicité de la mesure [i vérifiant la formule (1.1) du passage en coordonnée polaire, 
on trouve l'expression de \x donnée dans la proposition. □ 

Pour montrer la proposition 2.5, nous aurons également besoin du lemme technique sui- 
vant : 

Lemme 2.8 

On note D r l'opérateur différentiel sur les fonctions de la variable r G R : 

Dr : = a r L = l Sr * . 

2r 2r r 2r 2 

On peut écrire l'opérateur f h- > D^. [/ * ,u r r Q_1 ] comme une combinaison linéaire sur 
j = 0, . . . , h de : f ^ r Q ' x - 2h ^di{f * /i r ). 

Démonstration du lemme 2.8: On a : 

D r . [r^-^dlf * //J = 1$. [r«- 2 - 2 ^/ * nr] 

= \{Q-2-2h + j)r Q ' 3 ' 2h+ Wlf * /i r + \r Q ~ 2 - 2h+ idl +1 f * /i r 

= K 1 r Q - 1 - 2 ^ +j d^ r f * fi r + K 2 r Q ' 1 ' 2 ^ + ^di +1 f * fi r , 
où les Ki, i — 1, 2 sont des constantes de Q, h,j. On en déduit le lemme par récurrence. □ 

La proposition 2.5 sera démontrée lorsque nous aurons montré le lemme suivant : 
Lemme 2.9 

Pour 5Ro! > 1 — h, l'opérateur A a coïncide sur S(N) avec l'opérateur : 

A a ' h := f \ — ► f m a+h+1 (r) D^. [f * /i r r Q_1 ] dr . 
Jo 

En effet, d'une part, en utilisant le lemme 2.8, on voit facilement que la famille d'opérateur 
A a ' h ,?R,a > 1 — h sur S(N) est analytique. D'autre part, l'opérateur A ' 1 coïncide avec 
l'opérateur de convolution avec /i : 

i 

= f*l* ■ 

o 



A°' l .f = - J Q 2d r {pr r J*^r Q -^j dr = 



j dr = 


-f*fi r r Q 1 




r 
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Démonstration du lemme 2.9: Montrons d'abord A a = A a, ° : par passage en coordonnées 
polaires (1.1), pour / G S(N), on a : 

A a .f(n) = / f(nn'~ 1 )F a (n')dn' = / f * fi r m a (r)r Q ~ 1 dr . 
Jn Jo 

En intégrant par partie, on a donc : 



A a .f = 



-i 2(1 - r 2 )"" 1 



/ * fi r r Q 1 dr 



"2 (1 -r 2 ) a 1 . J 1 A 
ar(a) -2r J J 



1,1 2(1 -r 2 



, a 



r*r „ / l 



7 ar(a) 



- et 



— / * fi r r Q 1 ) dr . 



(5.1) pour T, 



Le crochet est nul (on a supposé Q > 3). En utilisant l'équation fonctionnelle (5.1) 
l'opérateur A a coïncide avec A a ' 1 qui a un sens pour Ko; > — 1. 

Si à l'ordre h, l'opérateur A a coïncide avec A a ' h , alors effectuons une intégration par 

rfîp ■ 



partie 



r 1 r 1 2(1 - r 2 )^^ 1 

/ m a+h {r)D h r . [f^^r^dr = / K > D h r . [f * ^r^ 1 } dr 

Jo Jo T(a + h) 

_ _ i 



2(l-r 2 ) a+h 1 
(a + h)T(a + h) ^2>^" ^ * ^ ^ 

2(l-r 2 ) a+h 



dr 



Le crochet en r = 1 est nul. D'après le lemme 2.8, on peut mettre r®- 1 - 211 - 1 en facteur 
et donc le crochet en r = est nul. En utilisant l'équation fonctionnelle (5.1) pour T et la 
définition de D r , l'opérateur A a coïncide avec A a ' h+1 . 

On a donc montré par récurence A a = A a ' h lorsque $la > 1 — h, pour tout < h < 
(Q-2)/2. 



□ 



Grâce aux lemmes 2.8 et 2.9, en développant D^. [f * fi r r Q x ] dans l'écriture A a = A a ' h 7 
on obtient : 

Corollaire 2.10 (Bf^) 

Pourra > 1 — h et 1 < h < (Q — 2)/2, l'opérateur A a coïncide avec une combinaison linéaire 
sur < j < h des opérateurs suivants : 

B° : = / i — ► ! m a+ \r)r Q - 1 - 7h+i d i r f*iJL r dr . 
Jo 
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2.2.2 Inégalités maximales pour A a 

Nous donnons le sens suivant à la notion de dilatation : 

- pour une fonction / sur N : 

(/)» = r' Q f(ln) , 

- pour une mesure v sur N : 

v r {n) = v{r.n) et donc / fdv r = / f(r.n)dv(n) , 

Jn Jn 

- pour un opérateur T qui opère sur un espace de fonctions stables par dilatations au 
sens ci-dessus : 

T r .f(n) = (T/(r.)) (r -1 .n) où f(r.) = ni—>f(r.n) 

Ces notations sont cohérentes dans le sens où : si T est un opérateur de convolution avec 
une fonction ou une mesure ip, alors T r est un opérateur de convolution avec la fonction ou 
la mesure ip r respectivement. 

Pour un opérateur T qui opère sur un espace de fonctions stables par dilatation, on peut 
ainsi considérer la fonction maximale associée à la famille de ses dilatées T r ,r > : 
sup r>0 \T r \. 

On définit A a la fonction maximale associée aux dilatés de A a : A a := sup r \A^\, et B%j 
la fonction maximale associée aux dilatés de B a : B%j := sup r \ (B^) r \. 
Nous souhaitons montrer des inégalités maximales L 2 et L p : 

Proposition 2.11 (||.A|| p ^ p , »a > 1) 

On a un contrôle maximal L p pour A a : 

V[a,6] C [l,oo[ Vpe]l,oo] 3C>0 Vx e [a,b] \/y G M V/ G S{N) 
\\A x+i ».f\\ LP{N) < Ce^||/|| LP(JV) . 

Proposition 2.12 (|| A\\ 2 ^ 2 ,SRa<0) 

Soit 1 < h < (Q — 2)/2. Si on a un contrôle L 2 des fonctions d'aires S^, j — 1, . . . , h : 

Vj = l,...h 3C>0 VfeS(N) \\S j (f)\\ < C ll/H 

alors on a un contrôle maximal L 2 pour A a : 

V[a,b] C [1 - h,oo[ 3C>0 \/x G [a,b] G M V/ G S(N) 
\\A x+iy .f\\ LHN) < Ce^||/|| i2(iV) . 

La preuve de la proposition 2.11 repose sur le corollaire 1.1. 
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Démonstration de la proposition 2.11: On a : 

\A a .f\ = \f*F a \ < \f\*\F a \ 

et : 

( 1 - \îl\ ) , , : M, , L l HM / v :. ; , 



(1- 


\n 


/+ 


r(Ka) 




r(«)| 


r(a) 



|F Q (n)| = I- — ' '/ + I < r^rr — = \^f-r\F (ri) 

1 v n 1 r(a) 1 ~ |r(a)| 1 r(a) 1 v ; 

On en déduit localement eni = dta, uniformément en y = ^sa, grâce à la majoration (5.3) : 

\A a .f\ < \^\\\f\*F* < \^\\A'.\f\ < C<*A*.\f\ , 
1 (a) 1 (a) 

C étant une constante issue de la majoration (5.3). D'après le lemme 2.6, la fonction F x 
vérifie les hypothèses du corollaire 1.1 : l'opérateur A x vérifie une inégalité L p . On obtient 
la majoration voulue de ||^4 a ./|| LP , pour tout 1 < p < oo. □ 

La proposition 2.12 repose sur le corollaire 2.10 et les deux lemmes suivants : 
Lemme 2.13 

Pour < j < h < (Q — 2)/2, on a un contrôle ponctuel des par les fonctions d'aires : 

V[a,6] C [\ -h,oo[ 3C>0 \/x G [a,b] \/y G M V/ G S{N) 
KT-fl < C<*S*(f) . 

Lemme 2.14 

Pour 1 < h< (Q - 2)/2, on a un contrôle L 2 de B% : 

V[a, b] C [1 — h,oo[ 3C>0 Vrr G [a, b] G R V/ G S(N) 

Kï v -f\\ < ce*y n/ii . 

La proposition 2.12 sera donc démontrée lorsque l'on aura prouvé ces deux lemmes. 
Démonstration du lemme 2.13: Pour / G S(N) et t > 0, on a : 

d r [/(*.)* Urit^n)] = d r I f(t(t- l nn'' 1 )d^ r (n') 

Jr.Si 

— dr / f(ntn' 1 )dfi r (n) = d r / f(nrtn' l )dp{n') 

Jr.S, _ JSi 

f(n r'n'~ x )dn(ri) 



= td r > 



= t[dr> [f * ^r'{n)\ l=rt , 

\r'=rt 



'Si 

puis par récurence, pour h > 1 : 

d h r [f(t.) * Mt-'n)} = t h [d h r , [f * ^{n)]] y=rt 
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d'où 



Jo 

\{Blj) t .f\ 2 < [ \r 3 -hi[di,f*ii Tl } w=Tt \ 2 dr [ Im^ir)^- 1 - 2 ^ 1 ^ 2 ^ , (2.3) 
Jo Jo 

par Hôlder. On pose a = x + iy. La seconde intégrale du membre de droite de (2.3) est 
majorée par : 

Jo Jo \r(a + hW 

4 f 1 , _ f) 2( x+h -i) ,Q-i-2hdr[ = T{2x + 2h-l)T{Q-2h) 
' \T(a + h)\ 2 J [ T) ' 2 T(2x + Q-l)\T(a + h)\ 2 

grâce à (5.2) lorsque 2x + 2h — 1, Q — 2h > . En utilisant l'estimation (5.3), lorsque 
h < Q/2, le terme précédent est majoré à une constante près localement en x > —h + | et 
x > — (Q — l)/2 uniformément en y G R par : e Ay . 

Pour la première intégrale du membre de droite de l'inégalité (2.3), effectuons le change- 
ment de variable r' = rt : 



[ \^-y[dl,f*fi r/ }y =rt \ 2 dr= [ \C-) V#/*^ 

J ° ,00 J ° 1 

< / ie/*/v|V 2 ^dr' = S'{ff 
Jo 



□ 

Passons à la preuve du lemme 2.14; elle repose sur le corollaire 1.1. 

Démonstration du lemme 2.14-' B% est un opérateur de convolution avec la fonction 
donnée par : G^{n) := F a+h {n)\n\~ 2h . En effet, grâce à la formule (1.1), le passage en 
coordonnées polaires donne : 

Bf^.f(n)= [ 1 m a + h (r)r<l- 1 - 2h f* f i r (n)dr = f*G a h (n) . 
Jo 

On note a = x + iy et on a : 

le dernière majoration étant due à (5.3), d'où localement en x : 

l*£o-/l< 1/1*1^1 < Ce»B* hfi .\f\ . (2.4) 
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Pour Q — 1 — 2h > — 1, elle est intégrable : 

2\ a+h— 1 



Ainsi, localement en x tel que x + h — 1 > et pour h < Q/2, la fonction G x h vérifie les 
hypothèses du corollaire 1.1 ; on en déduit que l'opérateur B% vérifie une inégalité maxi- 
male L p pour tout 1 < p < oo en particulier L 2 . Avec la majoration (2.4), on en déduit le 
lemme 2.14. □ 



2.2.3 Interpolation 

On achève ici la démonstration du théorème 2.2.b). On suppose comme dans les hy- 
pothèses du théorème, h > 1 et que chaque fonction d'aire S*,j = l,...,h vérifie une 
inégalité L 2 . 

Linéarisation. Fixons momentanément r(.) : (JV, dn) h- > IR + une fonction mesurable. Pour 
z G C dans la bande < 3lz < 1, on définit l'opérateur T z sur les fonctions simples de N : 

T«./(n) = ^^./(n) , 

où on a noté «(z) = z + (1 — avec > xi > 1 — h fixé. 

On a la majoration ponctuelle de T z .f grâce à la fonction maximale sphérique : 

V/ VzeC,0<ïïz<l \T z .f\ < e~^ z)2 A a{z) .f . 

D'après les propositions 2.11 et 2.12, l'opérateur T z vérifie : 

- lorsque $tz — 1, une inégalité W avec 1 < p < oo, 

- lorsque $ïz = 0, une inégalité L 2 . 

Interpolation. Grâce à la nouvelle famille d'opérateurs {T ,z } <sr z <i est une famille ana- 
lytique d'opérateurs admissible au sens de [SW71]. On interpole en z tel que a(z ) = 0. 
L'opérateur T z ° vérifie donc une inégalité L q où le paramètre q est tel que : 

- = ^—J^ + Z ± et 1 < p < oo . (2.5) 
q 2 P 

La constante de cette inégalité L q ne dépend que de N et des constantes des inégalités 
obtenues pour A a (propositions 2.11 et 2.12). Elle est en particulier indépendante du choix 
de r(.). 

Fin de la démonstration du théorème 2.2.b) On peut donc "repasser au supremum" : 
l'opérateur e z oA a( - z °^ vérifie la même inégalité L 9 , et ce pour tout q tel que (2.5) avec z = 
G [0, (h — l)/h] (car 1 — h < Xi < 0). Par conséquent, la fonction maximale sphérique 
A vérifie à une constante près une inégalité L q pour (2h)/(2h — 1) < q < 2. 

D'après la partie a) déjà démontrée, la fonction maximale sphérique A satisfait également 
une inégalité L q pour 2 < q < oo. Le théorème 2.2 est ainsi complètement démontré. 
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2.3 Fonctions d'aire pour un groupe de type H 



Le but de cette section est de démontrer le théorème 2. 3. a). Nous montrerons la partie 
b) correspondant à N v>2 dans la section 4.1. 

Comme dans le chapitre 1, on note fl l'ensemble des fonctions sphériques bornées de N 
pour 0{y). On pose pour uj G fl : 



S'(u>) := y J \dî <fi s ,co> ps^-ids . 

Le théorème 2. 3. a) sera démontré une fois que l'on aura démontré les deux propositions 
suivantes : 

Proposition 2.15 (S j et S j ) 

Pour j G N — {0}, s'il existe une constante C > telle que : 

\/uj G fl S ] (uj) < C , 

V/GL 2 (iV) ||5(/)|| < C H/ll , 

Au cours de la preuve, on utilisera une mesure spectrale E sur fl, qui nous amènera à 
estimer sur fl tout entier. On pourrait donner une expression explicite de E, grâce à 
une formule de Plancherel non radiale, "adaptée aux fonctions sphériques" dans le sens de 
[BJR90, theorem G] dans le cas d'une "vraie" paire de Gelfand. On peut par exemple choisir 
la formule donnée par les représentations de Bargmann ou de Schrôdinger. Nous utiliserons 
cette autre méthode sur le groupe nilpotent libre à deux pas. 

Proposition 2.16 ( S j ) 

oo 

Si v 1 > 2, il existe une constante C > telle que : 

Vj = l,...,v'-1 Va; G fl S j (uj) < C . 



2.3.1 Fonction d'aire et mesure spectrale 

Cette sous-section est consacrée à la preuve de la proposition 2.15. Nous aurons besoin 
de la proposition suivante : 

Proposition 2.17 

On note End L 2 (N) les endomorphismes continus de l'espace de Hilbert L 2 (N). 

Il existe une mesure spectrale E pour l'algèbre commutative L 1 ^ à valeur dans End L 2 (N) 
telle que : 

VFGL 1 ^ Wf,geL 2 (N) <f*F,g>= [ < F,cu > dE fiB (u) . (2.6) 

Jn 
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On a 



\dl(f*Li s )\\ 2 <[\di<u. s ,u;>\ 2 dE f (u;) . (2.7) 
Jn 

Lorsqu'on admet la proposition ci-dessus, la démonstration de la proposition 2.15 est 
aisée. 

Démonstration de la proposition 2.15: Grâce à Fubini, puis à (2.7), et enfin de nouveau 
par Fubini, on a : 

\\S 3 U)f = / pif *^ s f s^ds 
Jo 

roc p p 

< / \dl< ii s ,uj>\ 2 dE f (uj)s 2 ^ 1 ds = \&(u)\ 2 dE f (tu) . 
Jo Jn Jn 

Donc si Si(u) est borné par C indépendemment de u G f2, alors, H-S^/)!! 2 es ^ borné par C 2 
multiplié par 

r dE f (uj) < 



s 

Jn 



n 

□ 

Remarque 5 Comme c'était déjà le cas dans [Nev94, Nev97, MNSOO, NS97], nous avons 
besoin d'une estimation L°° de sur tout le spectre Vt. Nous pourrions nous passer de V es- 
timations de Si sur la partie VLb en utilisant une formule de Plancherel non-radiale adaptée. 
Dans le cas d'un groupe de type H, ces deux méthodes conduisent au même résultat. 

Démonstration de la proposition 2.17 

On utilisera le lemme suivant, qui construit une approximation de l'unité radiale : 
Lemme 2.18 

Il existe une fonction <f> : iV h- > [0, 1], C°°, radiale, à support dans la boule unité B\, vérifiant 

J N (f>{n)dn = 1. 

Pour une telle fonction (fi, on définit alors pour r] > les fonctions <f> v par : 

(fi r ,{n) := ri~ Q (fi{ri~ l .n) , n G iV . 

Les fonctions <fi v , 7] > forment une approximation radiale de l'unité sur N. 

Démonstration du lemme 2.18: Il existe (fii : N \— > [0, 1] une fonction C°°, à support dans 
la boule unité B\, et telle que 0i(O) = 1. On définit : 

4>2 (n) = / (fii(k.n)dk puis (fi{n) 



JO(v) f N M n ) dn 

La fonction 6 ainsi définie convient. □ 
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Démontrons la première partie de la proposition 2.17, c'est-à-dire l'existence d'une 
mesure spectrale E satisfaisant (2.6). Considérons le morphisme d'algèbre : 



II : 



L\N) — > End L 2 (N) 

F .— {U(F):f^f*F} 



Notons C l'adhérence de UL 1 ^ dans l'algèbre normée End L 2 (N), ||.|| par la norme des opé- 
rateurs. Comme d'une part II est un morphisme continu d'algèbres normées et que d'autre 
part d'après le théorème 1.13, l'algèbre de convolution L 1 est commutative, l'ensemble C 
est une sous-algèbre commutative de End L 2 (N), ||.||. De plus l'algèbre C est aussi normale : 

= I1(F*) où FeL\N) en notant F*(n) = . (2.8) 

D'après les propriétés spectrales des C*-algèbre commutatives (voir par exemple [Rud73]), 
l'algèbre C admet un mesure spectrale E u : Sp(C) — > V, où on a noté Sp(C) le spectre de 
l'algèbre C et V l'ensemble des projections continues de L 2 (N) : 

VT G C, T = I fdE n . 

JSp(C) 



On définit l'application : 



. r s P {c) — > sp(L^) 
a ^ Aon 



On en déduit une mesure spectrale E du spectre de L 1 , identifié à f2 par le théorème 1.9 en 
posant : 

_ n . / B(îî) — V 



E ~ U * E : \ B .— > E U (W-\B)) 
où B(fl) désigne les boréliens sur Q. Cette mesure spectrale vérifie bien la propriété (2.6). 

Démontrons la seconde partie de la proposition 2.17, c'est-à-dire l'inégalité (2.7). 
Fixons une approximation radiale de l'unité (j) v ,r) > comme dans le lemme 2.18. 

Nous allons appliquer la formule (2.6) à la fonction F* • * F s ^ v j où F SiTI j = d 3 s (0 î; * /x s ) et 
la fonction F* j est donné par (2.8). On vérifie facilement que la fonction F StVt j est radiale 
car ix s et <p v le sont, puis qu'elle est intégrable : 

<fi v *Li s (n) = / ^(ng-^d/Xsig) = / (j) v {n s.g~ l )dn(g) , 

Js.Si JSi 

dîi^ri * Vs){n) = / di(p n (ns.g- l )dLi(g) , 
Js, 



\d J s ((p v *Hs)\(n) < 



si sg 1 ^ rj.Bi , 

f Si sup\D 3 <f> v \l v .B 1 (ns.g- 1 )dn(g) si sg" 1 e rj.Bi . 
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On a finalement : 

/ \F s , hJ (n)\dn = [ |^(0„*// s )|(n)dn < V ' Q+j sup \D<j>\ ^.B^ < rf^ sup \D<j>\ . 
Jn Jn 

d'où F SjJ) j G L 1 ^, puis F* j * F SjJ) j G Appliquons (2.6) à cette dernière fonction : 

V/GL 2 (iV) <f*K,n*F.,vjJ>» ( m= \ < KvJ * F w)>«> > dE M '( 2 - 9 ) 
Or on voit pour le membre de gauche de cette égalité, d'après (2.8) : 

< /* /••;,,.,.* /•;,,,. / > = < uii-:. lhJ * {■:.„,)./. i > 

= <U(F StV!j ).f,U(F s , v ,j).f> = \\U(F s ^).f\\ 2 
= \\d s (f * <f> v * Hs)\\ 2 = Ur, * d s (f * Hs)\\ 2 , 

et pour le membre de droite comme < .,u > est un caractère de L 1 ^ : 

< F lv,j * F s,V,j^ > = I < F s,V,ji U > | 2 = |<9^ < fl 3 , UJ > | 2 | < (f) v , U>\ 2 . 

L'égalité (2.9) devient donc : 

Un * di(f * fi s )\\ 2 = \dl < fi s ,u>\ 2 \<<j) ri ,Lj>\ 2 dE f (uj) . 

Jn 

Maintenant comme la fonction u est bornée par 1, et que l'intégrale de (p^ vaut 1, on a 
| < (p v ,u > | < 1, et le membre de droite de l'égalité précédente est majorée par 

/ \&> < u. s ,u > \ 2 dE f (u) ; 
Jn 

et comme 0^, 77 > est une approximation de l'unité, le membre de droite tend vers 
\\cP s (f * Hs)\\ lorsque 77 tend vers 0. On en déduit la majoration (2.7). 
Ceci achève la démonstration de la proposition 2.17. 

2.3.2 Contrôle L°° de & dans le cas d'un groupe de type H 

Cette sous-section est consacrée à la preuve de la proposition 2.16 dans le cas d'un groupe 
de type H. 

Nous aurons besoin du lemme technique : 

Lemme 2.19 (Dérivée d'une fonction de s 2 ) 

Soit f est une fonction régulière et h EN. On pose g(s) = f(s 2 ). 
g( h ^ s'écrit comme combinaisons linéaires de s d ^' h ^ f^ h ' + ^(s 2 ), 

- où d(j, h) = 2j, sur 0<j< h', si h = 2b! , 

- où d(j, h) = 2j + 1, sur < j < h' - 1, si h = 2h' - 1. 
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On remarque : 

d(j, h) + h = 2h' + 2j . (2.10) 

Nous supposons dans cette section v' > 2. Dans le cas d'un groupe de type H, comme 
Q = Q L U Qb, la proposition 2.16 est équivalente aux deux propositions suivantes : 

Proposition 2.20 

II existe une constante C > telle que : 

V/i = 1, . . . , v' - 1 Vcj G n B S h (u) < C . 

Proposition 2.21 

Il existe une constante C > telle que : 

V/i = 1, . . . , v' - 1 Vcj G Vl L S h (u) < C . 

Démonstration de la proposition 2.20: Soit u = <& r . On a pour n = (X, Z) £ N : 

ou(s.n) = <S> r {sX,s 2 Z) = J^rslX]) , 
d h Ms-n) = (r|X|) fc 4 fc i(r a |X|) , 

d'où : 

\S h (u>)\ 2 < s2h ~ l I \(r\X\) h J^ 1 (rs\X\)\*du.(X,Z)ds ; 

JO JSi 

par le changement de variable s' = rs\X\, cette dernière intégrale vaut : 

/ / s' 2h - 1 \J$l l {s')\ 2 ds>du.{X,Z) = / ^"V^iMlW , 

qui est finie d'après le lemme 5.1, lorsque — 1 < 2h — 1 < 2(V — 1). □ 

Démonstration de la proposition 2.21: Soit uo = Ici, on a u;(s.n) = $ s 2^(n) ; 

avec les notations du lemme 2.19, d^uj(s.n) s'écrit comme une combinaison linéaire de : 

f(s) := ^(n) = e^^Ây-^^lCH^I 2 ) et n = (X, Z) G TV . 



Calculons les dérivées de cette dernière fonction : 

3 

'2' 



•7 i m _ i 

^7(«) = E c T<C^> i " m (9lClW) 4™-i(ô s KII^I 2 ) 



m=0 

et donc le terme |c^/(s)| est majoré à une constante (de j) près par 

3 

y | y | j— m | 1 2m | £ (wi) | 

' 2' 



ICKÊI^M^riÂ^-iCflCII^I 



m=0 
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Grâce à cette majoration, l'expression ^(u;)! 2 est ainsi majorée à une constante (de h) près 
par le maximum sur < j <h/2et0<m<h' + j de : 

I(j,h,l,m) := ^^(^^/^ ^^C^,^) |^|^'^ ^I^Tl^^l^Jj^^^C^ICI |^T| S ) |^^C^, ^ ^ ) 
grâce à (2.10). 

Utilisons l'expression de \i donnée dans la proposition 2.7 dans ce qui suit : 



1 w-2 



et donc par Hôlder 



^ |z| ^- m|x|2m| ^ i(s0| ^ (X;Z) ^ 

< [\l-r*y*dr f\c^)_ 1 (s / )\ 2 r^ 2m+v - 1 \l-ry- l dr , 
Jo Jo 

L'intégrale I(j,h,l,m) est donc majorée à une constante près par : 

roc ri 2 o 

/ \C\ 2(h ' +3) |Â ( "li(^lCk 2 )|V( 2 ^- 1 )(l-r 4 ) w - 3 drs 4 ^' +h ')- 1 ds ; 
Jo Jo ' 2 

cette dernière intégrale est égale par Fubini et le changement de variable s' = y ICI 7 " 2 à : 

rl ., poo 

= / rW ) + ^l) (1 _ r 4)- î(ir / | J C[-)_ 1 ( s ')|2( 2s ') 2 0-+ h ')-l ds / . 

La première intégrale ci-dessus est bien finie car —2{j + h') + 21 + v — 1 > — 2/i + 1> — 1 > — \ 
lorsque h < v' — 1. D'après le lemme 5.5 la seconde est finie tant que j + h' < v' — 1, donc 
tant que h < v' — 1. □ 
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Chapitre 3 

Transformée de Fourier radiale pour 
N v , 2 

Dans ce chapitre, nous explicitons les fonctions sphériques bornées du groupe nilpotent 
libre à 2 pas et à v générateurs noté N v>2 , et la mesure de Plancherel associée. 

Notations. On convient dans cette section d'identifier par la base canonique les éléments 
de Z et Z* à des matrices antisymétriques. On associe à un élément A* G C, v G N, et 
si A* 7^ 0, vi G N, le multi-indice d'entier m G N" 1 et le î^-uplet (Ai, . . . , A„J G M? 1 de la 
manière suivante : 

- l'entier v est tel que A* > et A* +1 = : c'est le nombre de A* non nuls ; 

- vi est le nombre de A* non nuls distincts, et les Xj sont les A* non nuls et distincts, 
ordonnés de façon strictement décroissante : 

{\*i> ...> a; > 0} = {X 1 > ... > \ V1 > 0} ; 

- pour j — 1, . . . , vi, rrij est le nombre de paramètres A* égaux à Xj ; on définit également : 

3 

m := m' := et m'j := , j = 1, . . .Vi ; 

i=l 

on a m' Vl :=m 1 + . . . + m vi _i + m vi = v . 
Si A* 7^ 0, on peut donc mettre la matrice antisymétrique D 2 (A*) sous la forme (pour les 
notations voir les sous-sections 5.2.1 et 5.2.2) : 





" X\J 






Ai J mi 






£ 2 (A*) = 


' 


• 














A*,J 






X Vl Jm V i 








(0) 










On convient de noter : 
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- Q l'ensemble des (r*, A*) G R + x £ vérifiant r* = si 2-y = 

- £„ iQ la fonction de Laguerre normalisée (voir section 5.1.3), 

- pr • la projection sur l'espace vectoriel engendré par les 2m j vecteurs 

X 2i -i , X 2i , m^_ x < i < m'j . 

Avec ces notations, nous redonnons maintenant l'énoncé du théorème 2 : 

Théorème principal 3.1 (Fonctions sphériques bornées pour N Vt2 ,0(v)) 

Les paramètres des fonctions sphériques bornées sont (r*,A*) G Q, puis le multi-indice 
l G N^ 1 si A* 0, sinon. 

Avec ces paramètres, les fonctions sphériques bornées pour N v>2 , 0(v) sont données par : 
Si A* / 

^*^\n) = [ & r *' A *' l (k.n)dk, n G N Vf2 , 

JO(v) 

où O r *' A *' 1 est la fonction donnée pour n = exp(X + A) G N Vj2 par : 

QW(n) = jr*<xï,x> e i<W),A> a i 4 >mj _ 1 (^| pr .(X)| 2 ) , 

où on a noté dk la mesure de Haar de masse 1 du groupe 0(v). 
Si A* = 

r *'°(n) = / e ir * <x ï' k - x> dk, n = exp(X + A) G N Vt2 . 

JO(v) 

On trouve aussi les fonctions sphériques pour N Vj2 , SO(v) : 

Théorème principal 3.2 (Fonctions sphériques bornées pour N v , 2 , SO(v)) 

Les paramètres des fonctions sphériques bornées sont (r*,A*) G Q, ainsi que si A* ^ 0, 
e = ±1 et le multi-indice l G W 1 . 

Avec ces paramètres, les fonctions sphériques bornées pour N v>2 , SO(v) sont données par : 
Si A* / 

<f) r *' A *^(n) = [ Q r '^ u (k.n)dk, n G N v , 2 , 

JS0(v) 

où on a noté dk la mesure de Haar de masse 1 du groupe SO(v), et Q r *' A *> l > e la fonction 
donnée pour n = exp(X + A) G N v>2 par : 

eTM(n) = e ^<x;,x> ei <D U A % A> S i Â J>mj _ 1 (^|pr,.(X)| 2 ) . 

Si A* = 

r *'°(n) = / e ir * <x ï' k - x> dk, n = exp(X + A) G N v , 2 . 

JS0{v) 
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Pour les deux théorèmes précédents, dans le cas A* = 0, on retrouve les fonctions de Bessel 
"comme dans le cas des groupes de Heisenberg et des groupes de type H" (lemme 5.2) : 

r *'°(exp(X + A)) = J^i(r*\X\) , 

où |.| désigne la norme euclidienne sur V pour la base canonique des générateurs. Si de plus, 
r* = 0, on trouve la fonction constante 1. 

3.1 Expression des fonctions sphériques bornées 

Le but de cette section est de démontrer les deux théorèmes précédents, c'est-à-dire de 
donner les expressions des fonctions sphériques bornées de la paire de Guelfand 

N — N V: 2 , K — 0(v) ou SO(v) , ou encore G = K < N , K . 

Nous convenons dans cette section que le terme "fonction sphérique" signifie "fonction 
sphérique bornée" ou encore "fonction sphérique de type positif" (théorème 1.16b). 
Pour p G N, on note : 

- G p et K p les groupes de stabilité de la classe de p sous G et K respectivement, 

- G p l'ensemble des classe de représentations v G G p telles que u\ N est un multiple de p, 

- G p l'ensemble des classes v G G p telles que l'espace des vecteurs if-invariants de la 
représentation Ind Gp z/ est de dimension 1. 

Grâce aux théorèmes des sous groupes et du nombre d'entrelacement, on verra que v G G p 
est dans G p si et seulement si l'espace de ses vecteurs -K^-invariants est une droite (voir plus 
loin le lemme 3.7). 

Les preuves des théorèmes 3.1 et 3.2 reposent sur les deux théorèmes et la proposition 
qui suivent : 

Théorème 3.3 (G p ) 

a) Fixons p G N et {Ti u ^u) un représentant d'une classe de G p . Soit Û v un vecteur 
unitaire K p -invariant pour v. On lui associe un vecteur unitaire K-invariant f$ v pour 
Indg p v ; la fonction de type positif alors associée à Indg p v G G pour ce vecteur f^ v 
est la fonction notée (jf donnée par : 

cj) v (n) = / (v(I,k.n).iï v , iï v ) Hv dk, n & N , (3.1) 

où dk désigne la mesure de Haar de masse 1 du groupe compact 1. 

b) On obtient toutes les fonctions sphériques bornées comme les fonctions sphériques de 
type positifs (f> u lorsque p parcourt un ensemble de représentants de N /G, et que v 
parcourt un ensemble de représentants de G p . 

Proposition 3.4 {M* /G) 

a) Si K — 0(v), les orbites de l'action coadjointe de N sous G sont paramétrées par 
(r*,A*) G Q. Elles sont notées 0(r*,A*). Le représentant privilégié de 0(r*,A*) est 
r*X* + D 2 (A*). 
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b) Si K = SO(v), les orbites de l'action coadjointe de N sous G sont paramétrées par 
(r*,A*) G Q et e = ±1. Elles sont notées 0(r*,A*,e). Le représentant privilégié de 
0(r*,A*) est r*X* + D £ 2 (A*). 

Evidemment, les orbites 0(r*, A*, 1) et 0(r*, A*, —1) se confondent lorsque la dernière coor- 
donnée de A* est \ v r = 0. 

Théorème 3.5 

Soient (r*, A*) G Q et e = ±1 si A* ^ 0, sinon 0. Soit p G X/ une représentation associée au 
représentant privilégié f — r*X* + -D|(A*) . 

Si A* = 0, G p est l'ensemble des classes des représentations z/ r *'°. 

La fonction (f> u associée à v = u r *'° par (3.1) est r *'° (donnée dans les théorèmes 3.1 

et 3.2). 

b) Si A* 7^ 0, G p contient les classes des représentations irréductibles z/ r *' A ' l ' e , l G W 1 ; 
ces dernières possèdent une droite invariante sous K p . 

La fonction <ft u associée à v = z/ r *' A *' /,e par (3.1) est r *' A *' i ' (E (donnée dans le théo- 
rème 3.2). 

Lors de la démonstration de ce dernier théorème (sous-sections 3.1.6 et 3.1.7), nous 
donnerons les expressions des représentations z/ r *'° et z/ r *' A *''' e . 

3.1.1 Démarche de la preuve 

Admettons les deux théorèmes et la proposition qui précèdent, et conservons leurs nota- 
tions. Du corollaire 1.21 et de la proposition 3.4, on en déduit que N /G est l'ensemble des 
classes des représentations associées à / = r*X* +D|(A*), lorsque les paramètres (r*,A*) 
parcourt Q, et le paramètre e parcourt ±1 si K — SO(v) et vaut si K = 0{y). D'après le 
théorème 3.3.b), et les premières parties du théorème 3. 5. a) et b), on en déduit que toutes 
les classes des représentations de G qui ont une droite invariante par K sont obtenues en 
considérant les représentations induites par z/ r *'°, et b /T * ,A * ,l,e ,l G N Vl , lorsque les paramètres 
(r*, A*) parcourt Q et si K — SO(v) et A* ^ 0, e égale ±1 ; si K = 0(v), alors e vaut 
toujours 0. 

Et donc d'après le théorème 3. 3. a), les fonctions sphériques sont les fonctions (f> u données 
par (3.1), lorsque v parcourt u r *'° et v r *' A *' l,e . D'après les secondes parties du théorème 3. 5. a) 
et b), les fonctions sphériques sont donc : 

- les fonctions r *'°,r* G R + , 

- et les fonctions r *' A *' / > £ où (r*,A*) G Q et l G W 1 ainsi que e = ±1, si K = SO(v) et 
e = si K = 0(v). 

Les théorèmes 3.1 et 3.2 seront donc démontrés lorsque nous aurons prouvé les théo- 
rèmes 3.3 et 3.5, ainsi que la proposition 3.4. Le reste de cette section est consacré à leurs 
démonstrations. Nous commençons par démontrer le théorème 3.3 et la proposition 3.4. 
Ensuite, nous décrivons le stabilisateur et le groupe quotient N = N/ ker p pour une repré- 
sentation p G T r *x*+D^(A*)- Nous pourrons alors démontrer le théorème 3.5 grâce au lemme 
suivant : 
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Lemme 3.6 (Représentation quotientée par son noyau) 

a) Une représentation d'un groupe (comme tout morphisme) passe au quotient par le 
noyau ou un sous-groupe du noyau. 

De plus, si la représentation du groupe est irréductible, alors la représentation quotien- 
tée l'est aussi. 

b) Soient v\ et u 2 deux représentations d'un groupe G. 

Si elles sont équivalentes alors leurs noyaux coïncident kerui = kerz/ 2 , et les repré- 
sentations passées au quotient à tout sous-groupe de leurs noyaux communs, sont 
équivalentes. 

Réciproquement, si leurs noyaux coïncident et les représentations passées au quotient 
sous leur noyau commun, sont équivalentes, alors les représentation v\ et v 2 sont équi- 
valentes. 

3.1.2 Ensemble G p 

Le but de cette sous-section est de démontrer le théorème 3.3. 

Fixons p G N. Nous reprenons les notations qui lui ont été associées au début de la sous 
section précédente. D'après la proposition 1.22, le groupe de stabilité de la classe de p sous 
G se met sous la forme G p = K p < N, où K p est le sous-groupe compact : 

K p = {k G K : k.p = p} C K . 

Lemme 3.7 (G p ) 

Soit v G G p . La classe de v est dans G p si et seulement si la représentation v restreinte à K p 
contient exactement une fois 1k p - 

Démonstration du lemme 3.7: Par définition de G p , une représentation v G G p est dans 
Gp si et seulement si la représentation [Ind Gp i/] contient exactement une fois 1k- 

Comme G p = K P <N, où K p est un sous-groupe (fermé) de K, la double classe G P \G/K 
est triviale. Appliquons le corollaire 1.24 du théorème des sous-groupes aux sous-groupes : 

Ci = G p , G 2 = K, G l n G 2 = G p n K = K p , . 

On obtient : 

VvEÔ p , [lnd^ p u} lK = Ind* (il*,) . 
Nous appliquons alors le lemme 1.25 aux groupes compacts K p C -K' et à la représentation 

l = V\ Kp - □ 

Fixons (H u , v) G G p . D'après le lemme 3.7, le sous-espace vectoriel de 7i l/ des vecteurs 
X-invariants est une droite Cu u , u = u v étant l'un de ses deux vecteurs unitaires. On cherche 
à en déduire un vecteur if-fixe de la représentation (H u , n) = Ind^ p v. 

L'espace H u est l'ensemble des fonctions / : G — > H u telles que : 

1. Vg p eG p ,geG f(g p g) = u(g p )f(g) , 
2- ||/G7)|| W „ eL\G/G p ) . 
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Faisons un petit aparté sur les mesures choisies : 

- sur G = K < iV : la mesure de Haar dg = dkdn, 

- sur G p = K p < iV : la mesure de Haar dg = dk p dn, où dk p est la mesure de Haar 
normalisée sur le groupe compact K p ; 

- sur G/G p ~ Kj K p : la mesure dk identifiée à la mesure de masse 1 sur Kj K p invariante 
par translation sous K. 

La représentation n est donnée par : 

Vg,f/eG, feH u U(g).f(g') = f(g'g) . 

Lemme 3.8 

Soit la fonction f sur G donnée par : f(k, n) = u(I, n).u pour (k, n) G G. 
Le vecteur jz v = f G Ti n est K-invariant et unitaire. 

Démonstration .'Montrons que la fonction / est dans l'espace H u . 
Pour g = (k,n) G G et g p = (k p ,n p ) G G p , on a g p g — (kpk,n p kp.n) et donc par définition 
de / : f(g P g) = v(I,n p k p .n).u; or (I,n p k p .n) = (k p ,n p ) (I ,n) (/ç 1 ,0). Comme v est un 
morphisme, on a : 

f(g P g) = iy((kp,n p )(l,n)(k~\(})).u = u(kp,np)u(l,n)u(k~ 1 ,0).u 
= u(k p ,n p )v(I,n).u 

car u G 7i u est invariant sous K p . On obtient donc f(g p g) = v(g p ).f(g), d'où / G H u . 

Montrons que / est un vecteur i^-invariant. 
Pour g = {k' , n') G G et k G K, on a : 

U(k,0).f(g') = f(g'(k,0)) = f(k'k,n') = u(I,n').u = f(g') ; 

il est aussi unitaire : 
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WMWnvdg = [ \\f(k,0)\\ 2 nv dk 

JK/K P 

is(I, O).^!!^ dk — / ldk = 1 ; 

Jk/k„ 



'K/Kp JK/Kp 

car dk est de masse 1. □ 

On obtient donc la fonction sphérique, comme fonction de type positif associée à la 
représentation n, que l'on note (jf : 

P(g) = (U(g).f,f) nn = [ (U(g).f(g'),f(g')) H Jg> . 

JG/Gp 

Or d'après les expressions de n et /, pour g = (k,n),g' = (k',n') G G, on a : 

n(<?)./(</) = f(g'g) = f(k'k,n'k'.n) 

= ,n' k' .n).u — v(I ,n')v(I ,k' '.n).u , 
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puis : 

(n(g).f(g')J(g')) n „ = (is(I,n')is(I,k'.n).iï , u(I,n')u) 

= (u(I,k'.n).u, û) H „ . 

On obtient donc l'expression (3.1) : 




d'après le choix de la mesure sur l'espace homogène K/K p et la if-invariance de u. 
Ceci achève la démonstration du théorème 3. 3. a). 

Maintenant, démontrons le théorème 3.3.b). Lorsque p parcourt un ensemble de représen- 
tants de N /G et lorsque v parcourt un ensemble de représentants de G p , on obtient toutes les 
représentations irréductibles II = Ind^ v qui ont une droite if-fixe d'après le théorème 1.23 ; 
d'après les théorèmes 1.15 et 1.16, on obtient donc toutes les fonctions sphériques bornées 
en considérant les fonctions sphériques de type positif associées à II. 

3.1.3 Description de M* /G 

Nous démontrons ici la proposition 3.4. On garde les notations de la sous-section 1.3.2. 

Proposition 3.9 (Coad de G) 

Soit g = (k,n) G G avec n = exp(X + A) G N. On a : 

V/ = X* + A* G A/"*, Coad.#(/) = k.X* + k.A* - (k.A*).X . 

Démonstration de la proposition 3.9: Gardons les notations de la proposition. Pour tout 
X' + A' G M on a : 

gexp(t{X' + A')g- 1 ) = (k,nk. exp(t(X' + A')))(k~ 1 , k^n^ 1 ) 

= (J, nk. exp(t(X' + A')) kk' x n' x ) = (I ,nexp(t(k.X' + k.A'^n- 1 ) . 

On en déduit pour X' + A' G M : 

Ad.g(X' + A') = Ad.n{k.X' + k.A') = k.X' + k.A' + [X, k.X'} . 

puis : 

Coad.g(f)(X' + A') — f (Ad.g~ 1 (X' + A')) 

= < X*, k~\X' > + < A*, k-\A' > - < A*, [k-\X, k~ l .X'} > . 

Or on a par définition de l'action de K sur M* : 

< X*,k-\X' > = < k.X*,X' > et < A*,k-\A' > = <k.A*,A' > ; 
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et aussi 



< A*,[k-\X,k- 1 .X']> = < A*,k~ 1 .[X,X']> = <k.A*,[X,X']> 

= <k.A*.X,X'> . 

□ 

Cette proposition nous permet de déterminer toutes les orbites de Af*/G dans les deux 
cas K = 0(v) et SO(v). 

Fixons une orbite O. Toutes les formes linéaires / = Xj + A*j- G O sont telles que les 
matrices antisymétriques A*j- sont toutes orthogonalement semblables et nous leur associons 
A* = (A*, . . . , À*/) G C (proposition 5.8). 

On note vq la dimension des sous espaces isotropes maximals pour UA*, r où A*j G O ; c'est 
aussi le nombre de À* non nuls. 

Pour chaque / = XJ + A*j- G O, nous choisissons alors : 

1. Distingons les cas : 

si K — 0(v), k G K tel que la matrice antismétrique k.A*j = D 2 (A*) soit diagonalisée 
par bloc 2-2 ; 

- si K = SO(v), k G K et e = ±1 tels que la matrice antismétrique k.A*^ = D|(A*) 
soit diagonalisée par bloc 2-2 avec A* G £ (proposition 5.9) ; 

2. X G V est tel que (k.A* f ).X G V* soit égale à la projection orthogonale Xq de k.Xj G V* 
sur %k.A* f = %D 2 (A*) ; en particulier, X* = si 3D 2 (A*), c'est-à-dire si v = 2v' et 
A* = (A*, . . . , A*/), avec aucun Aj nul ; 

3. fc' G K qui laisse stable 3D 2 (A*), donc également (3D 2 (A*))" L , tel que k'.X* = 
x*X*,x* G M. 

Si K = 0(v) ou dim (^^(A*))" 1 > 1, on peut supposer x* = r* > 0. 

Si x* < 0, X = et dim(S^ 2 (A*)) ± = 1 c'est-à-dire v = 2v + 1, on pose 

r* = —a;* et : 



fc" = 



Id 2 ^-2 








-Id 2 



On obtient : 

- si K = 0(v), (k'k,expX).f = r*X* + D 2 (A*), 

- si K = SO(v) et 2v + l< (k'k,expX).f = r*X* + D e 2 (A*), 

- si K — SO(v) et 2v + 1 = v, (k'k, expX).f = r*X* + Dj e ( A *), 
La proposition 3.4 est donc démontrée. 



3.1.4 Stablisateur de p 

Le but de cette sous-section est de décrire le stabilisateur K p d'une représentation p 
associée à / = r*X v + D|(A*) G A/"*. Rappelons (proposition 1.22) que c'est le stabilisateur 
l'orbite coadjointe dans K de /. 
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Proposition 3.10 (K p ) 

Soit (r*,A*) G Q. v désigne le nombre de A* non nuls, où A* = (X{, . . . , A*,) ; On note 
À* = (AJ, . . . , A*J G R v °. Soit p une représentation associée à f = r*X v + D|(A*) G A/"*, où 
e = si K = 0(v), ete = ±l si K = SO(v). 

Si A* = 0, alors le groupe K p est le sous-groupe de 0(v) qui stabilise r*X*. 

Si A* ^ 0, alors le groupe K p est le produit direct K\ x K 2 , où 

1. le groupe K\ est le groupe formé des éléments k\ G SO(v) de la forme : 



fci o 
Id 



tels que ki G SO(2v ) commute (matriciellement) avec D 2 (A*) G A 2vo ; 
2. le groupe K 2 est le groupe formé des éléments k 2 G K de la forme : 



ko = 



Id 

k 2 



tels que k 2 G 0(v — 2t> — 1) laisse stable r*X*. 

Dans la démonstration de cette proposition, on reprend les notations de son énoncé et 
on convient de noter A* = D|(A*) et X* = r*X*. 
On aura besoin du lemme suivant : 



Lemme 3.11 



K p = {k G K : kA* = A*k et kX* = X*} . 

Démonstration du lemme 3.11: D'après la proposition 3.9, pour / = X* + A* G A/"*, on a : 

VA; G A" Coad.Jfc(/) = k.X* + kA* et N.f = X* + ÎM* . 

Fixons momentanément k G K p . On a Coad./c(/) G N.f. Comme la décomposition 
A/"* = V* © Z* est en somme directe, on a : 

(1) k.A* = A* et (2) k.X* G X* + ÎM* . 

La condition (1) implique que les matrices k et A* commutent. Donc en particulier, comme 
X* G SA*" 1 , kX* puis kX* - X* sont aussi dans %A* ± . Or la condition (2) implique kX* - 
X* G QA* : ce vecteur est donc nul. Ainsi k commute avec A* et stabilise X*. 

Réciproquement, si k commute avec A* et stabilise X*, alors on a Coad./c(/) G N.f et 
k G K p . □ 

Démonstration de la proposition 3.10: Lorsque A* = 0, K p est le fixateur dans K du 
vecteur X* G V* ~ W". La première partie de la proposition 3.10 est donc démontrée. 
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Démontrons la seconde partie. On adopte les notations de la section 5.2, ainsi que ê = e 
si K = SO(v) et vq = v', et 1 sinon. Nous sommes dans le cas A* 7^ 0. A* se met sous la 
forme : 





" 





_ 



avec D 2 (À*) 



Ai J mi 












^vi-Jm Vl 



où on a noté Ai > A 2 > . . . > X Vl > les paramètres A* notés de manière distincte, et m, le 
nombre des A* = Aj. On convient également : 



m 



m; 







0, 



et 



m a 



E 



ITLi 



j = 1,...V 1 



Soit k G K p . L'image de A* est l'espace vectoriel engendré par X ll . . . ,X 2vo ; le noyau 
de A* est l'espace vectoriel engendré par X 2vo +i, . . . ,X V . Comme les matrices k et A* com- 
mutent, l'image et le noyau de A* sont stables par k ; la matrice k peut donc s'écrire sous la 
forme : 

" h 



k = 



ko 



avec k\ G 0(2vq) et k 2 G 0(v — 2vq — 1) 



de plus la matrice k\ commute avec D 2 (Â*), et la matrice k 2 stabilise le vecteur X* car k 
stabilise le vecteur X* G kerA*. Maintenant, les espaces propres pour A* sont les espaces 
vectoriels engendrés par les vecteurs X 2i _i, X 2i , m'^ < i < rrij avec j = l,...Vi. Comme 
les matrices ki et D 2 (A*) commutent, ces sous espace sont propres pour ki ; on peut donc 



écrire k\ avec des blocs [ki\- G 0(rrij), 



, vi sur la diagonale ; de plus, vu la forme de 



D 2 (A*), chaque bloc [fci] -, commute avec J mj pour j < Vi, ou avec êJ mvi pour j = Vi. 

Appliquons la proposition 5.10 à chaque bloc de k\ : det [fci] • = 1. Avec la décomposition 
de k\ en bloc matriciel, on en déduit : det k\ = IL, det [fci] ■ = 1. 

On peut donc écrire k comme le produit k = kik 2 = k 2 ki avec ki G K iy i = 1,2 pour les 
groupes K 1 ,K 2 donnés dans la proposition 3.10. 



Réciproquement, toute matrice k G K p s'écrit sous cette forme-là. 



□ 



On peut davantage décrire le sous-groupe K\ : 
Corollaire 3.12 (Isomorphisme entre K\ et K (m; v ; v^) 

Fixons le paramètre A* G £ — {0} et éventuellement si K = SO(v), e — ±1. On leur associe 
comme ci-dessus les indices v ,Vi et m = (mi, . . . , m vi ). 
On définit l'application si K = SO(v) et v — v',e — —1, 




Ki — > K(m\v Q ;vi) 

h — (# i »(Nj,... ) ^- i \fei i jir-- i) (Nj) 
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sinon : 




Ki — > Kim-.v^vi) 



le groupe K(m; v ; vi) = U mi x U m , 2 x . . . x U m a déjà été décrit dans la sous-section 1.2.2. 
L'application est un isomorphisme de groupe entre K 1 et K(m; v ;vi). 

Démonstration du corollaire 3.12: On reprend les notations de la démonstration de la 
proposition 3.10. Appliquons la proposition 5.10. Pour k x G Ki, 

- chaque bloc [k~i]j, j — 1, . . . , i>i — 1 commute avec J mj , et donc est isomorphe par ip^ 71 ^ 
à une matrice unitaire de taille rrij ; 

- si K = SO(v),v — v',e — —1, le bloc [ki] avec —J mvi ; et donc est isomorphe par 
,0( m "i> x ) ^ une ma t r ice unitaire de taille rrij. 

- sinon, le bloc [ki] avec J mvi ; et donc est isomorphe par ip™ vi à une matrice unitaire 
de taille rrij. 

Réciproquement, on a pour (u±, . . . , u m ) G K{m; t> ; V\) selon les cas : 

(^ mi) " 1 «l,...,^ m ' 1 '" irl U m . 1 ) OU ^ i r rl U 1 ,---,^r irl Urn vl ) e K, . 

L'application est donc un morphisme de groupe entre K\ et K(m;v ;vi). □ 

Remarque 6 Toujours d'après la proposition 5.10, l'application est compatible avec la 
complexification dans le sens où on a selon les cas : 

ip( v '- 1 ' ) {k 1 .(x 1 ,y 1 ,...,x vl ,y vl )} = '$> 1 {k 1 )4 ( ?'- 1) {x 1 ,y 1 ,...,x v ,,y v ,) ., 

ou 

^ ) {k\.{x 1 ,y 1 ,...,x V0 ,y V0 )} = ^(fci).^^^, yi, . . . , x Vo , y Vo ) . 
3.1.5 Groupe quotient N = N/kerp 

Expression des représentants p considérés. Nous allons maintenant donner l'expres- 
sion de p r * t A*,e associée à la forme linéaire r*X v + D^A*) que nous allons considérer. 

Vu la construction effectuée dans la sous-section 1.3.2, dans le cas A* = 0, on pose 
Pr*,o = Ux*,o la représentation de dimension 1 donnée par le caractère : 

exp(X + A) <E N i — ► exp(ï < X* , X >) ; 

dans le cas A* ^ 0, il reste à choisir un sous espace E 1 ; nous allons le faire grâce à la base 
canonique. 

Supposons donc A* ^ 0. On note A* G Z* identifié par la base canonique X it j, i < j à la 
matrice antisymétrique D 2 (A*) ^ et 2v la dimension de l'image QA* de A* ; l'expression 
de la représentation U r *x v ,D%(A*) (mais pas sa classe) dépend du choix de E 1 , sous espace 
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maximal totalement isotrope pour la forme (X,Y) h- >< A*X,Y > restreinte à QA* x QA*. 
Ici, grâce à la base canonique, on pose : 

E 1 = RX 1 © ... © RX 2j _i © ... © MX 2 » -i • 

On note p r *,A*,e la représentation U r *x v ,D%(A*) correspondant à ce choix. On peut donner 
explicitement l'expression de p r *,A*,e, ainsi que des représentations p, pi, et p 2 que nous 
allons définir dans la suite. 

Notations. Fixons une des représentations (Tt,p) = (H r *,A*,t, Pr*,A*,e) avec A* nul ou non. 
On convient de noter : 

- ker p le noyau de p, 

- N = N/ ker p le groupe quotient et Â7" son algèbre de Lie, 

- p le morphisme induit sur N (qui est une représentation sur le même espace que p, 
dont on peut donner une expression explicite), 

- n G N l'image denGiV par la projection canonique N — > N, 

- Y G ÂT l'image de Y G Af par la projection canonique Af — > ÂT, 

- si A* : B = lA^-^KA*). où pour A* = (A*, . . . , A*,) G £, |A*| 2 = EjLi Af ; on 
remarque |A*| = |£) 2 (A*)|, où la norme précédente est la norme pour laquelle la base 
Xij,i < j est orthonormale. 

Le but de cette sous-section est de démontrer les trois propositions suivantes : 

Proposition 3.13 (N et p) 

Soit (H,p) = (H r *,A*,e,Pr*,A*,e)- 

a) Si A* ^ 0, le groupe N est isomorphe au produit (direct) des deux groupes Ni et N 2 , et 
la représentation p est équivalente au produit tensoriel des représentations p[ sur Ni et p2 
sur N 2 , où : 

- le groupe de Lie nilpotent Ni a pour algèbre de Lie Mi qui admet pour base comme 
espace vectoriel : X ± , . . . , X 2vo , B ; son centre est MB ; 

- la représentation p 1 induit sur le centre le caractère : 

exp(a_B) i — > exp(ia\A*\) 

- N 2 et p 2 sont décrits par : 

- ou bien r* = et N 2 est le groupe trivial, et p 2 la représentation triviale ; 

- ou bien r* ^ et N 2 est le groupe d'algèbre de Lie M.X V , et p 2 est la représentation 
associée au caractère : 

expiX^ — > exp(ix) 

b) Si A* = 0, alors Netp ont la même description que N 2 et p 2 ci-dessus. 

Avec les conventions de notations du début de cette sous-section, pour k G K p , les 
représentations p et k.p sont équivalentes ; en particulier, elles ont même noyau. Donc l'action 
de K p laisse stable ker p et passe au quotient sur N . Nous décrivons cette dernière action. 
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Proposition 3.14 (K p et N) 

On garde les notations des propositions 3.10 et 3.13. 

a) Si A* 7^ 0, le groupe K\ agit sur Ni, et le groupe K 2 agit trivialement sur N 2 : le 
produit semi-direct K p < N peut s'écrire : K p < N ~ (Ki < Ni) x K 2 x N 2 . 

b) Si A* = 0, l'action de K p est triviale sur N : le produit semi-direct K p < N est en fait 
direct : K p <N ~ K p xN. 

L'utilisation de la base canonique dans l'expression de p r *,A*, t nous permet d'établir sim- 
plement un isomorphisme entre Ni et le groupe de Heisenberg W"° = C vo x M. Gardons 
les notations de la proposition 3.13, dans le cas A* ^ 0, et du corollaire 3.12. On définit 
l'application \l/ 2 : EP° — > Ni donnée par si Vq — v ', K — SO(v), e = — 1 : 



$ 2 (xi + iyi, ...,x v ' + iy v >,t) 

'v'-l 
. 3=1 



|A* 



- (xjX 2j _i + Vi X 2j ) - 




(y v iX 2v >-i + x v >x 2v ,) > +tB 



sinon : 



* 2 (^i +iyi,...,x vo +iy vo ,t) 




(xjX 2j _i + yiX 2j ) + tB 



Proposition 3.15 (Ni et K x ) 

L'application ^ 2 est un ismorphisme entre les groupes Ni et W° . Les groupes H :— Ki < Ni 
et H heis := K{m\ v ; Vi) < H"° sont isomorphes par l'application : 



H heis = K(m;v ;vi)< M v ° 
^>î\ki),h 



— »■ H = Ki<Ni 
i — »■ ki,y 2 (h) 



Les démonstrations du cas A* = sont directes. 



Démonstration des propositions 3.13 et 3.14 si A* = 0: Dans ce cas, la représentation p 
s'identifie au caractère x dont la différentielle est ir*X*. Son noyau ker p a donc pour algèbre 
de Lie l'ensemble des vecteurs X G V qui vérifient < r*X*, X >= 0. Le groupe N a alors 
une algèbre de Lie isomorphe à M si r* est non nul, et à {0} sinon. 

La représentation p se factorise en une représentation unitaire irréductible p sur N, qui 
est associée au caractère si r* est non nul : 

expxX v — > exp(ix) , 

et si r* est nul, le caractère trivial 1. □ 

Jusqu'à la fin de cette sous-section, on convient de noter A* = D 2 (A*) et X* = r*X v , 
ainsi que d'omettre r* et X v si r* = 0. 
On connait : 
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- grâce à la remarque 3, le noyau de la représentation p r *,A*,e, dont on déduit la base 
voulue pour A/", 

- grâce à la remarque 4, son expression sur le centre de N, dont on déduit l'expression 
de pi sur MB. 

Pour démontrer la proposition 3. 13. a), il reste à exhiber le centre de M. Pour cela, nous 
calculons tous les crochets de la base considérée. 

Lemme 3.16 

Dans ce qui suit, on suppose A* ^ ; on garde les notations de la proposition 3.13. 
L'algèbre de Lie 77 admet pour base comme espace vectoriel la famille de vecteurs : 



Xi, . . . , X 2vo , B, à laquelle on ajoute X v si 2t> < v et r* ^ . 
Les crochets des vecteurs de cette base valent 0, sauf : 

rl^l^i_I e ^ sit = v'etK = SO(v), 
[ jj^B sinon. 

En particulier, X* commute avec tous les vecteurs X iy % = 1, . . . , 2v . 

Démonstration du lemme 3.16: On déduit la base de Â7* de l'expression du noyau (voir 
remarque 3). On voit directement d'après (1.3) : 

- si (2i f - l,2i'), < A*, [X^Xj] >=< A\X i ,X j >= et donc [X~,X~] = 0, 

- < A*, [X 2 i'-i,X 2 i'} >=< A*.X 2i >-i,X 2 i> > vaut eA*, si % = v ' et K = SO(v), et \ v 
sinon; et donc [A^-i, X 2i >] vaut eA*,|A*| _1 B si % — v' et K — SO(v), et \i>\A*\~ l B 
sinon. 

□ 

Démonstration de la proposition 3.14 si A* ^ 0: Soit n = exp(X + A) avec X décomposé 
selon la base canonique : 

V 

X = Y^ x i X i ■ ( 3 - 2 ) 

i=l 

On a : 

n = exp(X+ < D 2 (A*), A>B), avec X = y] x 3 X~ + x v ~X~ v . 

3=1 



Donc pour k G K p , on a : k.n = exp(k.X + k.A), et k.n = exp(k.X + h. A), avec : 

3=1 

O = < A*,A;.j4 > B =< A;- 1 .^*,^ > B =< A*, A > B = A , 

car k~ l .A* = A* et k.X* = X*. On peut donc directement définir l'action (par automor- 
phisme) du groupe K p sur le groupe N . De plus, on remarque les propriétés suivantes : 
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- Si k G Ki et n G Ni alors k.n G Ni ; et donc i^i agit sur A^. 

- Si k G et n G JV 2 alors /c.n = n; et donc agit trivialement sur N 2 . 



Démonstration de la proposition 3.15: Notons (z,t), (z',f) G H*' avec : 
z = (xi + iyi, ...,x vo + iy vo ) et z' = (x[ + iy[, . . . , x' VQ + iy' VQ ) 
D'après l'expression de (z,t).(z' ,t') et ^/ 2 , on a si v = v', K = SO(v), e = — 1 

' v '~ l [M, 



* 2 ((z,t).(z',t')) = exp ( ^^L^.( Xj + 3 / j )X 2j . 1 + (y j + ^)X 2 



A* 



"0 



{y* + y' v ') x 2v'-i + (x v > + x' v ,)X 2v , > + (t + t' + - ^ xjy'j - y 3 x' 3 )A 



3=1 



sinon : 



d=i 



^2 ((*, *).(^, t')) = exp ( J2 J -^r( x 3 + + + yj)^ 



1 1,0 — \ 

+ (*+t'+-^x J !/;-!/ 3 x;M 
j=i / 



Or d'après la valeur des crochets des X,- donnée dans le lemme 3.16, on voit : 




v 

.3=1 V 

«0 



.7; 



■X 2 j-i + VjX 2 j) , ^2 



|A*| 

* l^tx'X^i+y'X^ 



3-1 X > 



3=1 

Yl ~yr x i y 'j [ x 2j-uX^\ + —yj x 'j [X2j,X^\ = J^ixjy'j - yjx'^B , 



vo 



3=1 



ainsi que 



|A* 



l A *L, 



(y v 'X 2v '-i + x v /X 2v i) , —i -—(y' v ,X 2v i-i + x' v ,X 2v i) 



K' 



A,,/ 



(y v >x' v , [X 2v ,_i,X 2v ,\ +x v ,y' v , [X 2v , , X 2v , = (x v ,y' v , - y v >x' v ,)B 



On en déduit dans les deux cas : 



v ° /U*| 

ex P ( E y -yr( x> 3 X ^-i + 1/3X23) + t'A 



= y 2 (z,t).V 2 (z',t') . 
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L'application \l/ 2 est donc un morphisme de groupe et il est clairement bijectif. Par définition 
de et ^2, et d'après la remarque 6, on a : 

Vfci eK x ,heW° : ^\h).h = Vî 1 (k 1 .y 2 (h)) ■ 

ainsi l'application \l/o est un isomorphisme de groupe K{m; vq] v\) < W° — > K\ < Ni. □ 

3.1.6 CasO(r*,0) 

Nous montrons ici le théorème 3. 5. a). Fixons p = p r *,o, et v G G p . On note v\n = c.p, 
1 < c < oo et V la représentation donnée par le passage au quotient du groupe G p par ker p 
de la représentation v. 

Description de G p . D'après la proposition 3.14 dans le cas A* = 0, le produit semi-direct 
K P <N est en fait direct, donc la représentation V s'écrit comme le produit tensoriel de deux 
représentations unitaires irréductibles : 

- l'une de N, qui coïncide avec c.p (étant irréductible c = 1), 

- et l'autre de K p ayant un vecteur K p -fixe (étant irréductible, elle est triviale). 

La représentation V coincide donc avec la représentation : (k,n) G K p x iV i— > p(n). Or 
d'après la proposition 3.13 dans le cas A* = 0, si r* ^ 0, la représentation p est associée au 
caractère expïX„ i— > e lx . Donc V est la représentation associée au caractère : 

(k, exp(xX)) i — >■ exp(ix) 

On en déduit que la représentation v = u r *'° est donnée par : 

k,exp{X + A) ^ e i<r"K,x> ^ 

si r* 7^ 0. C'est aussi le cas si r* = 0, car alors p est la représentation triviale 1. 

Nous venons donc de trouver que G p est l'ensemble des classes des représentations u r *'° 
lorsque r* parcourt M + . L'espace de la représentation de v r *'° est de dimension 1. On note u 
un de ses vecteurs unitaires. 

Formule pour <p u , v G G p . Explicitons d'après la formule (3.1), la fonction sphérique (fi u 
associée à la représentation v = z/ r *'°. On a : 

(u(I,n).u,u) = e l<r * x ^ x> d'où (j) u (exp(X + A)) = f e i<r * x ^ k - x> dk . 

JkeK 

(j) u = r *'°, et le théorème 3. 5. a) est ainsi démontré. 

3.1.7 Cas 0(r*,A*,e) 

Nous montrons ici le théorème 3.5.b). Fixons p = p r *,A*, e avec A* ^ 0, et v G G p . On 
note : u\ N = c.p, 1 < c < oo et 17 la représentation donnée par le passage au quotient du 
groupe G p par ker p de la représentation v. 
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Description de G p . D'après la proposition 3.14 dans le cas A* = 0, le groupe K p < N est 
isomorphe au produit direct de H = K 1 <N 1 et de K 2 et N 2 . La représentation V s'écrit donc 
comme le produit tensoriel de trois représentations unitaires irréductibles : 

1. l'une de H dont les vecteurs K\ -invariants forment une droite, 

2. l'autre de K 2 dont les vecteurs ^-invariants forment une droite, 

3. la dernière, de N 2 . 

A cause de l'irréductibilité, la représentation sur K 2 est triviale : K 2 C kerz/; d'après le 
lemme 3.6, V passe au quotient en une représentation unitaire irréductible V sur H x N 2 
qui coïncide avec c.p sur N et dont les vecteurs K\ -invariants forment une droite. Nous 
reprenons les notations du lemme 1.17, ainsi que celle de \l/o (proposition 3.15). Pour une 
fonction sphérique u de (HF°, K{m; vç,] t>i)), on définit les représentations (W, II"') de H par : 

w w = {Fo* , Fen„} , n w = n û ,(* .) • 

Lemme 3.17 

La représentation V est de la forme : 

V (k ± , n{) G H = K 1 <7h , râ£ = exp(rrX) G 'N 2 , k 2 G K 2 : 

V((k u n~[).{k 2 ,nt)) = 71 (h, nj) exp(ix) , 

où 71 est une représentation du K\ < JVi équivalente à Tl w avec u = oj\k*\,i, l G N 1 " 1 ; ia droite 
Ki-Rxe de H u est CVt u o 

Démonstration :La représentation V s'écrit comme le produit tensoriel de 71 et 72 tel que 

(a) la représentation 71 du groupe H est irréductible ; ses vecteurs i^i-invariants forment 
une droite ; elle coïncide avec c.p sur Ni ; 

(b) la représentation 72 du groupe N 2 est irréductible et coïncide avec c.p sur N 2 . 

À cause de l'irréductibilité d'après la condition (a), on a c = 1. Donc si N 2 7^ {0} 
c'est-à-dire r* 7^ 0, on voit : 

p(exp(xX v )) = 7 2 (exp(xX t) )) = exp(ix) . 

De plus, d'après la proposition 3.15, H est isomorphe à Hheis = K(m;vo;vi) <W"° par 
^0 ; et d'après la première partie du lemme 1.17, on connait les représentations irréduc- 
tibles CH u ,Tl u ) sur H heis dont les vecteurs -K^-invariants forment une droite. On en déduit 
que les représentations irréductibles de H dont les vecteurs Ki -invariants forment une droite, 
sont toutes les représentations (7i u , IL) données dans l'énoncé, lorsque u parcourt l'ensemble 
des fonctions sphériques de Hh eis . De plus, la droite i^i-fixe de 7i w est CQ^ o ^ . 

Ainsi les représentations 71 vérifiant (a) sont les représentations 71 équivalentes à une 
représentation IL U satisfaisant : IL^- ~ ~p lm Supposons cette condition vérifiée. D'après la 

restriction des représentations IP J et pi sur le centre expMi? de Ni (voir respectivement la 
seconde partie du lemme 1.17, et la proposition 3.13), le cas uj = u p est impossible, et la 
fonction ui est de la forme u = u;|a*|,z- Par conséquent, les représentations 71 vérifiant (a) 
sont parmi les représentations 71 équivalentes à une représentation IL" 1 avec u = oj\a*\,i- D 
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Gp C G' . On note la projection canonique (X est décomposé selon (3.2)) 



p 

N — ► 



Qi 



n = exp(X + A) .— > exp Xj Xj + ^S^s) 



Par la projection canonique : 

K P <N = Kxx K 2 <N — »■ (K 1 < N?) x (K 2 x W) 
k = fak 2 , n = exp(X + A) i — ► ((h, q^n)) , (k 2 , exp(r* < X*, X > X))) 

la représentation V se relève en la représentation v\ grâce au lemme 3.17, v est équivalente 
à une représentation (7i u , v r *' A *' 1 ) sur K p < N avec ou = donnée par : 

V k = k x k 2 G K p = K\ x K 2 , n = exp(X + A) e N : 

ï/'^fc, n) = e îr * <x - x> n w (A;i, 9l (n)) . 

On note G' p l'ensemble des classes des représentations i/"*> A *>'' e 5 l G N 1 " 1 . C'est un ensemble de 
classe de représentations de K p <N, qui contient G p ; les restrictions à N de ses représentants 
(Tt u} ,v r * ,A *' l ' e ) peuvent (a priori) ne pas être équivalentes à p. Cependant, par construction, 
elles ont une droite K p -ûxe dont un des vecteurs unitaires est u — o Notons <p u la 
fonction sphérique associée. 

Lemme 3.18 (Calcul de </>", v G G' p ) 

La fonction (jf est donnée par : 

<f*> A *'^(n) = f e ir * <x; ' k - x> ujo^ 2 (k.n)dk (3.3) 
JkeK 

= [ & r *> A *^(k.n)dk , 
JkeK 

où uj = u>\a*\,i et \&2 = ^2 1 ° Çii e ^ ^ a fonction Q r *< A *> l < e est donnée par : 



6^ A *^(exp(X + A)) = e ir*<x;,x> e i<DUA*),A> n £, J>mj _i(^|pr,.(X)| 2 ) . 

j=l 2 



Démonstration du lemme 3.18: D'après l'expression de la représentation v = i/ r *> A *' l > £ ^ 
on a : 

is(I, n)u = e ir * <xi ' x> qi {n))Q" o ^ , 

puis : 

(v(i,n).iï, u) HV = e îr,<1 »* x> (r(/ l5l ( n ro* ,o%fo),„ • 

L'isomorphisme \l/o donne : 

(n w (/, gi (n))^o*o,^o*o> HW = (iL^^ogiH)^,^)^ . 
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De l'expression de ty 2 (proposition 3.15), on en déduit une expression \j/ 2 — ^2 1 Qi (X étant 
décomposé selon (3.2)) si K = SO(v),v = v',e = — 1 : 



*2(< > x ] )(X + 4)) = (j2j±.( Xl + ix 2 ), ■ ■ ■ , -J mfr*/ + ix w -i), < |^*| > ) > 



sinon : 



^ 2 (exp(X + A)) = (W 1X^(^1 + ^2), ■ ■ ■ , y ^(^2,0-1 + ^2, ), < ^ ' ^ > ) • 

Par définition de la représentation 11^, la fonction étant la fonction de type positif associée 
à cette représentation (ou par l'équation fonctionnelle (1.4) des fonctions sphériques pour 
fi w ), on a : 

(rL(/, * 2 (n))w, w) Hu = w (/, * 2 (n)) = ^ o * 2 ( n ) . 

Grâce à l'expression de ^ 2 , en renommant les À* en les Xj distincts, et grâce à l'expression 
de ui = W|A*|,i théorème 1.10, on obtient dans les deux cas : 

*— ^1 A 

coo^ 2 (exp(X + A)) = e i<D ^ A *)' A> n4, m ._ 1 (^|pr J .(X)| 2 ) , 

3=1 2 J 

puis l'expression (3.1) de la fonction (jf = r *' A *' /,e donnée dans le lemme. □ 

Ceci achève la démonstration du théorème 3.5. 
Les théorèmes 3.1 et 3.2 sont ainsi démontrés. 



3.2 Remarques 

Nous confrontons ici les résultats des théorèmes 3.1 et 3.2 avec ceux déjà connus, ou 
ceux issus d'autres propriétés des fonctions sphériques. Nous obtiendrons des propriétés du 
sous-laplacien de Kohn. 



3.2.1 Représentation sur N v> 2 

Dans la section précédente, nous avons caractérisé les fonctions sphériques bornées des 
paires (N V;2 ,0(v)) et (N v>2 , SO(v)) grâce aux représentations des groupes 0(v) < N v>2 et 
SO(v) <N V>2 . On peut aussi le faire grâce aux représentations sur N = N v>2 [BJR90, theo- 
rem G]. Rappelons brièvement une partie de ce résultat. Pour une représentation (H, II) 
irréductible de N, on définit pour un élément k du stabilisateur K n dans K , l'opérateur d'en- 
trelacement Wu, donné (à une constante complexe de module 1 près) par : Wn(k) o H(n) = 
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H(k.n) o Wu(k). On obtient ainsi la représentation projective Wji : K u >— > End7i. On dé- 
compose = ^ ^ en une somme orthogonale de sous espaces irréductibles invariants sous 
l'action de Wu- Les fonctions sphériques sont données par 



<fa,ç( n ) = / < n(fc.n).c,c> dk , 



lorsque U <E N et ( <E Vi, \(\ = 1 (deux représentations II équivalentes ou deux vecteurs 
du même espace Vi donnent la même fonction sphérique). Au cours de la preuve de [BJR90, 

L 

theorem 8.7] (et des lemmes qui le précèdent), on utilise que pour une fonction / G L X (N) , 
n(/) préserve chaque sous espace Vj et vaut en restriction à ce sous espace, à une constante 
près Idv; (lemme de Schur). Cette constante vaut < 0n,o f >, C ^ = 1. Cette propriété 

est aussi vrai pour les mesures radiales de masses finies. On a donc aussi pour ( G i?;, (' 6 £|< : 



/ <n(k.n).(,C>dk = n ,cW<C,C 
Jk 



> 



qui vaut 0, si / ^ V . 



Cas A* = 0. Chaque fonction sphérique r , ° est trivialement associée par [BJR90, theo- 
rem G] à la représentation de N de dimension 1 donnée par le caractère : 

n = exp(X + A) i — > exp(ir* < X*, X >) . 

Cas A* ^ 0. Soient (r*,A*) G Q avec A* ^ et / G N^ 1 , e = ±1,0. On considère la 
représentation II = n r » A * e de N sur l'espace H = L 2 (M V0 ) donnée pour une fonction / G H 
de la variable (yi, ■ ■ ■ ,y Vo ) £ 18^ ? et pour n = exp(A + A) G N avec X décomposé selon (3.2) 
si v o = v ' et e = —1 par : 

U(n).f(y) = exp(tr*x v +<D 2 (A*),A>) 

^ -^-x 2 jX 2 j-i + ^\*x 2j yj ^-x 2v 'X 2 v'-i - ^/>Çx 2v >y v i 



f(yi + VKxi, ...,y v ' + \fK> x 2V-i) , 



et sinon par : 



U(n).f(y) = exp i ( r*x v + < D e 2 (A*), A > + -fx 2j x 2j ^ + J^x 2jyj 



2 

f(yi + \/Âîzi, • • • , y vo + \[k o x 2v Q -i) ■ 

Cette représentation II = n r *A* e est équivalente à p r *,A*, e grâce à l'opérateur d'entrelace- 
ment : 

i 

V0 4 , / 

F G H r *, A *, e ^ fEH avec /( yi , . . . , y v .) = ÇhA*) F( v^* yi , . . . , y A* y„ ) . 
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La représentation II est donc irréductible ; on peut aussi le voir directement en s'inspirant 
du cas du groupe de Heisenberg [Fol89]. Ainsi, c'est une représentation de N associée par 
Kirillov, à l'orbite contenant r*X v + D\(h*). Nous avons déjà décrit son noyau kerll dans 
la remarque 3, puis son stabilisateur Kn dans la sous-section 3.1.4, enfin le groupe quotient 
N/ kerll dans la section 3.1.5. Rappelons que le groupe N/ kerll est isomorphe par ^2 au 
groupe de Heisenberg, à une éventuel facteur euclidien près, et que K u est isomorphe par 
^1 au groupe K(m, v ,vi) C U Vo . 

La décomposition de 7i par Wu se ramène au même problème sur le groupe de Heisenberg 
pour le groupe K(m, Vq, Vi). Ce dernier est connu : en effet, par exemple pour K = U vo , et 
pour les représentations de Bargmann sur HP , ces espaces sont les espaces de polynômes 
homogènes de degré fixé [FH87, ch. IV, III. 2] ; les représentations de Bargmann et de Schrô- 
dinger sont équivalentes et leur opérateur d'entrelacement envoie le monôme homogène sur 
la fonction de Hermite tel que le degré égale le paramètre (à une normalisation près) [FH87, 
ch.IV,III.l]. 

On obtient ainsi une autre construction des fonctions sphériques bornées de (N Vt2 , SO(v)), 
dans la forme que nous donnons maintenant (mais que nous ne démontrons pas) . 

Pour / = (li, . . . , 1 V1 ) G W 1 , on note E t l'ensemble des a = (a 1 , . . . , a" 1 ) tels que G 
N mj , = lj pour j = 1, . . . ,Vi ; pour un tel a G E\, nous considérons la fonction unitaire 
( a G Ti donnée grâce aux fonctions de Hermite (voir sous-section 5.1.5) par : 

J W° — > R 

\ Vu ■ ■ ■ , Vv 1 — ► Uf =1 h aj (y m ' j i+U . . . , y m >.) 

Comme les fonctions de Hermite sur M forment une base hilbertienne de £ 2 (1R), la famille 
Ç a , a G Ei,l G N" 1 est une base orthonormée de l'espace de Hilbert H. On peut montrer que 
les espaces V\, engendrés par ( a , a G E\ sont irréductibles pour l'action de Ku- 
On sait donc déjà que pour a G Ei et a' G Ey , la fonction 

ni — > / < Il r * A * )€ (k.n).(a,(a> > n dk , 
Jk 

est une fonction sphérique si l — V et a — a', et nulle sinon. On montre que cette fonction 
sphérique est 

pour cela, par exemple, on peut considérer le vecteur : 

= (Cardin E C« e V t , 

a£E t 

et utiliser les propriétés des fonctions de Hermite et de Laguerre. En particulier, pour a G 
Ei, a' G E v et l,V 6N"',ona: 

f tt n \ a a J7 f (f) r *' A *' l,e (n) sil — l',a — a' , , n 
J K <n r * A *, € (k.n).( a ,( a , > H dk = I J ginon (3.4) 



75 



pour K = SO(v) ou 0(v). 

L 

Soit une fonction / G ^(N) . Grâce à ce qui a été rappelé sur n(/) ou par calcul direct, 
on a pour a G E\ : 

n^AvOO.C, =</,0 r *- A *^>Ca • (3.5) 

3.2.2 Sous-laplacien 

Le sous-laplacien "de Kohn" est l'opérateur différentiel : 

V 

L :=-!>? • 

i=l 

C'est un opérateur sous-elliptique (à coefficients analytiques) invariant par translation à 
gauche et par 0(v) et SO(v) ; donc les fonctions sphériques (qui en sont des fonctions propres) 
sont analytiques (ce que l'on pouvait déjà voir sur leurs expressions explicites). 

Chaque représentation II = II r . A*, e induit la représentation suivante, notée dll de l'al- 
gèbre des opérateurs différentiels sur N invariants à gauche sur l'espace des fonctions de 
Schwarz S(R V °) : 



j = l,...,v dU(X 2j - 1 ) = yj\*jd yj et dU(X 2j ) = i^XjVj , 

2v <j<v dU(Xj) = et dU(X v ) = ir*là , 

iyffild 8 i(i,j) = (2j'-l,2j%j'ïv', 
Vi<j dU(X id ) = { te^ld si (î,j) = (2î/-1,2î/), 



sinon. 
En particulier, pour le sous-laplacien L, on a : 



VO 



dU(L) = r^u-J2K(d 2 yi -yï) 



i=l 



Comme chaque fonction de Hermite-Weber h k ,k e N sur M vérifie l'équation différen- 
tielle : y" + (2k + 1 — x 2 )y = 0, on calcule facilement pour a G E t : 



VI 



dU(L).( a = \J2 X À 21 j + m j) + r * 2 j Ca • (3-6) 

Ainsi, les fonctions ( a , a G Ei, l G W 1 forment une base orthonormée de vecteurs propres de 
l'opérateur dH(L). 

Grâce aux égalités (3.4) et (3.6), on déduit la valeur propre associée à une fonction 
sphérique bornée (fi r *' A *' l < e pour le sous-laplacien L : 

L.0 r *' A *'^ = ^ Aj(2Zj + m 3 ) + r* 2 j <p r *^^ . (3.7) 
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Cette égalité a un sens pour A* = 0, en convenant toujours que si A* = 0, (fr r *< A *> l > e signifie 
r , ° (et évidemment A* = et Xj = aussi). Sa preuve est directe lorsque l'on considère les 
expressions des fonctions sphériques bornées données dans le théorème 3.2. En particulier 
pour e = 1, on trouve les valeurs propres pour le sous laplacien et les fonction sphériques de 
la paire iV Vj 2, 0(v) 

Dans le cas A* ^ 0, on a donné une ébauche de preuve ci dessus. On peut aussi faire le 
calcul direct et utiliser des identités remarquables sur les fonctions de Laguerre, ou encore 
en utilisant notre construction des fonctions sphériques bornées et ce que l'on a rappelé dans 
la sous-section 1.2.2 sur le groupe de Heisenberg. 

Corollaire 3.19 (Transformée de Fourier du noyau de m(L)) 

Soit m G (S(M). Le noyau M G S(N) de l'opérateur m(L) est une fonction radiale dont on 
connaît la transformée de Fourier sphérique : 

J'=l 

pour tout (r*, A) G Q, l G N^ 1 si A* ^ 0, et e = ±1, 0. 

3.2.3 Autres opérateurs différentiels 

Une autre méthode pour déterminer les fonctions sphériques, serait d'utiliser le théo- 
rème 1.7, c'est à dire de considérer les fonctions sphériques comme fonctions propres com- 
munes des opérateurs différentiels invariants à gauche et par 0(v) ou SO(v). C'est ce que 
nous avions fait pour les paires de Guelfand (HP , K{m; vç>] t>i)). Mais sur le groupe N = N Vt2 , 
il n'est pas aisé de trouver des générateurs pour ces opérateurs. 

Outre le sous-laplacien L, on connait d'autres opérateurs différentiels invariants à gauche 
et par K. Citons d'abord le laplacien du centre : 

i<j 

dont on calcule facilement la valeur propre associée à une fonction sphérique : 

A 2 .<r< A ^ = (j^Xf^j^^^ . (3.8) 

Il y a également les opérateurs différentiels associés à polynôme X-invariant en les coefficients 
de matrice et de vecteur ; par exemple, le polynôme P(A, X) = \\A.X\\ 2 , et tous les polynômes 
P(A, X) = \\A n .X\\ 2 , n G N. 

On peut donner des exemples d'opérateurs Dp issus de polynôme P seulement en les 
coefficients de matrice invariant sous l'action par conjugaison de K sur les matrices : 

- avec le polynôme P{A) = \\A\\ 2 = trace (A t A), on retrouve le laplacien du centre 
D P = 2A Z ; 
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si l'on considère le polynôme caractéristique 



d'une matrice A : 



XP + c p „ 1 (A)Xi>- 1 + ...c (A) 



Le polynôme q est symétrique en les coefficients de la matrice A et i^-invariant. On 
peut donc lui associer un opérateur différentiel sur M invariant à gauche et sous K, en 
identifiant une matrice antisymétrique A de coefficient antisymétrique A iK j et l'élément 

AijXij du centre de M . 
Par exemple, en étendant les notations X it j = —Xj ti ,i < j et X iti = 0, on peut consi- 
dérer le polynôme en les coefficients matriciels c (A) = det A ; L'opérateur différentiel 
associé est : 



la somme étant sur toutes les bijections a de {1, . . . ,p} et e(<r) désignant la signature 
de a. On connait pour cet opérateur les valeurs propres associées à chaque fonction 
sphérique : 



Avec les égalités (3.8) et (3.7), on démontre : 
Lemme 3.20 (Une famille de fermés de fi) 

L'ensemble des fonctions sphériques bornées fl (pour SO(v) ou 0(v)), muni la convergence 

uniforme sur tout compact, s'identifie au spectre de l'algèbre L l (N)^ , muni de la topologie 
faible-*. Le sous-ensemble Q N , N > de Q formé : 

- des fonctions sphériques r *'° avec r* < N, 

- des fonctions sphériques (fr r *> A *> l > e avec A* G £ — {0} et e = ±1, vérifiant : 



est fermé dans l'ensemble fi. 

De ce lemme, on déduit facilement : 

Corollaire 3.21 (Identification des structures boréliennes de fl) 

Lorsque l'on identifie les fonctions sphériques et leurs paramètres, les structures boréliennes 
de l'ensemble (topologique) fl et des paramètres (r*, A*) e Q, l e N 1 ' 1 , e = ±1, des fonctions 
sphériques bornées pour SO(v) ou 0(v), s'identifient également. 

3.3 Mesure de Plancherel radiale 

Dans cette section, nous explicitons la mesure de Plancherel radiale pour les fonctions 
sphériques pour 0(v). La mesure de Plancherel radiale est la mesure pour laquelle on a la 





Xf < N 2 et 



+ rnj) +r* 2 <N 2 



i=i 
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formule de Plancherel radiale : 

VfeLUN)* : \\f\\ LHN) = \\<fA>\\ LHdmm ■ (3-9) 

Nous avons déjà donné son expression dans le théorème 3. Dans cette section, après avoir 
redonné l'énoncé de ce théorème, nous le démontrons. 



3.3.1 Expression de la mesure de Plancherel radiale 

On identifie les fonctions sphériques et leurs paramètres. Le corollaire 3.21 nous permet 
d'identifier aussi les structures boréliennes. Le théorème qui suit montre que la mesure de 
Plancherel radiale est supportée par les fonctions sphériques <p r *' A *' 1 , dont les paramètres 
r*, A*, l sont dans l'ensemble V v = V donné par : 

V w = {(0,A*,Z), A*eC, leW'} , 
Vw+i = {(r*,A*,f), r , Gl + 1 A*G£,lGN"'} , 

avec les notations du théorème 3.1. 

On note rj' la mesure sur le simplexe C donnée par : 

drj'(A) — U j X j drj(A) , A = (Ai, . . . , \ v >) , 

où r) est la mesure sur le simplexe £ dont l'expression est donnée dans le lemme 5.11, 
On note également m sur V, produit tensoriel : 

- de la mesure ?/, 

- de la mesure de comptage sur , 

- et si v — 2v' + 1 de la mesure de Lebesgue dr* sur 
à la constante de normalisation près : 



c(v) 




si v — 2v' , 
W si v = 2v' + 1 



Dans le cas v = 2v', on note la mesure : 

dm(A*,l) = dm((f) ' A *' 1 ) = c{v)d V '®J2 > 
et dans le cas v — 2v' + 1 : 

dm(r*,A*,l) = dm((j) r * A " ' l ) = c{v)drf (g) y] ®dr* 

Rappelons l'énoncé du théorème 3 : 

Théorème principal 3.22 (Mesure de Plancherel radiale) 

La mesure de Plancherel est supportée par V et s'identifie à m. 
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Dorénavant, on confond les fonctions sphériques <p et leurs paramètres : on écrira pour 
une fonction g : V — > C, g((f>) ou g(r*, A*, l) pour <?(r*, A*, /) lorsque = (ff* > A * ' l . 

Avant de passer à la démonstration de ce théorème, nous donnons quelques notations 
et proprités concernant la transformée de Fourier euclidienne. Nous utiliserons les notations 
suivantes pour la transformée de Fourier d'une fonction / : R d — > C : 

= / f(x)e- ix - c dx et F c/x .f = [ f(x)e ix <dx . 

On identifie V, V* et M?, ainsi que Z, Z* et W, z = v(v — l)/2 ; cela nous permet de considérer 
les transformées de Fourier euclidienne en ces variables. 
On remarque : 

Lemme 3.23 

Soit f G S(N)*. Soient A* G A v et k G 0(v) tels que k.A* = A*. On a : 

VIeV~R T a* /a- [/(exp(X + A))] = T A * jA . [/(exp(X + kr\A))\ . 
On a aussi pour A* G A v et k G 0(v) : 

[ F A */A.[f(eMX + A))}dX = [ F k . A . /A .[f(exp(X + A))]dX . 

Démonstration du lemme 3.23: Pour la première égalité, effectuons le changement de 
variable A' = k~ l .A : 

F A * /A .if(k.ex P (X + A))] = ! f(eMX + k-\A))e-* <Af > A> dA 

= [ /(exp(X + A'))e- t<A *> k - A,> dA' . 

J A v 

On a d'une part, par dualité :< A*, k.A >=< k _1 .A*, A >, d'autre part k^.A* = A* car A* 
et k commute par hypothèse. 

Pour la seconde égalité, commençons par remarquer : 

F k . A */A.[f(eMX + A))} = j f(exp(X + A))e-*< k - A *> A >dA 

J Av 

= j f(exp(X + A'))e- i<A *> k ~ 1 - A> dA = j f(exp(X + k.A'))e- i<A " °' A '> dA' , 

J A v J Av 

après le changement de variable A 1 = k^ 1 .A. Maintenant, comme / est radiale, on voit : 
/(exp(X + k.A')) = /(exp(A;- 1 .X + A')) ; on en déduit : 

•Fk.A* jA- [/(exp(X + A))] = T A * /A . [f(exp(X + k.A))} = T A * /A . [f{ex V {k-\X + A))] , 
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puis 



/ F k . A */A.[f(eMX + A))]dX = ! F A * /A .[f(exp(k-\X + A))]dX 
Jk» Jr v 

= I r A */A.\f{exv{X' + A))\dX' 
Jr v 

après le changement de variable X' = k~ l .X. □ 

Démontrons le théorème 3.22. On définit les sous groupes Ki, i — 1, . . . , i> de K de la 

manière suivante : Ki est l'ensemble des éléments k G SO{v) tels que k.Xj = Xj pour tout 
j 7^ 2i — 1, 2i, qui laissent stable le plan Pi := tX 2 j-i©R^2r On note dki la mesure de Haar 
(de masse 1) du groupe compact Ki, i = 1, . . . ,v . Par restriction à P i7 les éléments de Ki 
sont des transformations orthogonales directes du plan Pi, et on a le passage en coordonnées 
polaires : 

f r roc 

\ f(x 2 i-iX 2i -i + x 2i X 2j )dx 2i -idx 2i = 2n / / f{riki.X 2i -i)ridridki . (3.10) 

J Pi J Ki Jo 

On note K — K\ x . . . x K v > ; c'est un groupe compact, dont on note dk = dk\ . . . dk v > la 
mesure de Haar de masse 1. On définit la mesure sur M. +v : fdf = r\dri . . .r v >dr v /. 

Par approximation, pour montrer le théorème 3.22, il suffit de montrer la formule (3.9) 
pour la classe de fonctions S(N) . Soit donc / G S(Ny. 

Soit = r *' A *'' une fonction spérique telle que A* G C et r* = si v = 2v'. D'après son 
expression donnée dans le théorème 3.1, on a : 

</,*>= / / /(exp(X + A)) e ^e^( A *)' A >n^(^(4_ 1+ 4))^X 

= / / / •••/ / o exp ( x 2 i-xX 2i -x + x 2i X 2i + x 2v , +1 X 2v , +1 + A 

JRJA V JP V , JP Vl \ i=1 J 

e^^^<D 2 {K*),A> n £ {h^l + x \ ))d Xl . . . dx 2v > dAdx 2v , +l . 
j=i z J J 

Appliquons aux v' plans Pi, i — 1, . . . , v' la formule (3.10). On obtient : 



< 



/, > = (2n) v ' / / / / / o exp ( V* r^.X^-i + x 2v > +1 X 2v , +1 + A) 
JrJa v Jr+ v 'Jk y~i J 



3 

On a donc : 



n Ci (^rj)dk fdf e *r*xv eï <D 2 (A*),A> dAdx 2vl+l . 
i 2 



<f,</>> = (2tt) v ' f f F(f, A*y,k)h£ h fèrj)dkrdr , 
Jr+ v ' Jk 3=1 3 2 j 
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où on a posé pour r = (n, . . . , r v <) G R +v , A* G C, r* G R + et k = (ki, . . . , &v) G K : 
F(f,A*,r*,k) 

/ o exp ^ r^.X^-i + x 2v , +1 X 2v , +1 + A 



i=l 



Montrons que l'expression F(r, A*, r*, k) ne dépend pas de k = (ki, . . . , &v) : par défintion 
des sous-groupes ifj, on a : 

/ ^exp ^2r i k i .X 2i - 1 + x 2v , +1 X 2v , +1 + A 

= f iki . . . k v >. exp ^ rjX 2i _i + a^'+i-X^'+i + {k x . . . .A 



,i=i 



/ exp ^rjX 2i _i + x 2v , +ï X 2v , +1 + k 1 .A 



j=i 



car la fonction / est radiale. Maintenant comme les matrices orthogonales directes du plan 
commutent avec J, la matrice D 2 (A*) commute avec tous les fc, G K^i = l,...,v' donc 
avec k. Ainsi d'après la première égalité du lemme 3.23 et celle qui précède, on a : 



J 7 D 2 (A*)/A 



F DoCA* 



D 2 (A*)/A ■ 



f j exp I ^Tiki.X^ + x 2v , +1 X 2v , +1 + A 

\i=l y 

/ exp ^riX 2i _i + x 2v > +1 X 2v , +1 + A 



.1=1 



puis 



F(f,A*,r*,k) = F r */x 2v , +1 -FD 2 {\*)/A- 

: = F(f,A*,r*) . 
Avec cette nouvelle notation, on a : 



/ exp ^2 r i x 2i-i + x 2v > +1 X 2v > +1 + A 



lR+ v JK 



F(f,A*,r*)hc h (^)dkfdf 
j=i 2 J 



</,0> = (2tt) 

= \ ,F(f,A*,r*).n^.(^r|)fdf . 

./»+«' j=i 2 

Effectuons les changements de variables r' = \jr^/2,j — 1, . . . , v' ; on a 



<ir' = dr^ . . . <ir^, = Il Xfdr , 
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d'où 



< /, <f> > = (270' ÇA- 1 / F(r f 1 A*^)UC h (r f j )dr' , 



J --> " Jul+V i 
v ' A* 



(3.11) 



où on a posé pour r' = (r[, . . . , r' v ,) G M. +v , A* G C, et r* G 



F(r',A*,r*) := F(^, . . . , ^,A*,r*) . 

Or les fonctions IIJ^/^ , / G N"' forment une base orthonormale de l'espace L 2 (W"') (voir 
sous-section 5.1.4). Donc on a : 

f \F(r',A\r*)\ 2 dr' = Y\ [ F(r',A*,r*) UCi-Or'A dr'\ 2 . 

Le membre de droite d'après l'égalité (3.11), vaut {{2n)~ v IljAj) Ylii \ < f, <p > \ 2 . 
Le membre de gauche se calcule directement d'abord en effectuant les changements de va- 
riable r'j = Xjr 2 /2, 



\F(r',A*,r*)\ 2 dr' = Il A, / _ \F(f, A*, r*)\ fdf , 



puis en remarquant que par définition de F, on a : 



/ 



\F(r, A*,r*)| 2 ridri . . .r v ,dr v , = / / \F(f, A*, r*, k)\ dkrdr 

R+ v ' JK 



j 



? <-*/x 2v , +1 Fd 2 (a*)/a- 



f o exp ï 2 «-i^2i-i + + a^'+i^z+i + -4 



,j=i 



(27r) " dX\d%2 ■ ■ ■ dX2v'-\dX2v' 



en ayant appliqué aux v' plans Pi, % = 1, . . . , v ' la formule (3.10). 
On en déduit l'égalité : 



((2nr'u j X j ) 2 J2\<f^>\ 2 
i 

= (2ir)~ V TljXj / \F r */x 2v , +1 FD 2 (K*)/A- 

Dans le cas v — 2v', on a : 



/ o exp ^ ajjXj + A 



l dx\ . . . dx 2v > ■ 



(27r)- w 'n j -A J - ]T | < /, > | 2 = / \F D2{ a*)/a ■ [/(exp(X + A))] | 2 rfX 
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Dans le cas v — 2v' + 1, par parité pour la variable r*, après intégration contre dr*, d'après 
la formule de Plancherel sur R, on obtient : 

(27r)- v 'u j X j 2 [ ^ | < /, > \ 2dr * = 271 f l-^2(A*)M • [/(exp(X + A))] \ 2 dX . 

Jr+ l Jr v 

Appliquons la seconde égalité du lemme 3.23 pour tout k G 0(v) : 

/ \Fd, { a*)/a. [f(exp(X + k.A))]\ 2 dX = / \T k .d 2 (a*)/a ■ L/(exp(X + A))] \ 2 dX 
Jr v Jr v 

= [ [ \^ k .D 2 (A*)/A-[f(exp(X + A))}\ 2 dXdk ; 

JsO(v) ./R" 

et donc en intégrant sur C, il vient : 

/ I El <f^> \ 2 dr*d V (A*) 
Je Jr l 

= 2tt / // \T k . D2m/A . [f(exp(X + A))]\ 2 dXd V (A*)dk , 

JS0(v) JC J R v 

sachant que dans le cas paire, le terme 2n et l'intégrale contre dr* n'y sont pas. 

Effectuons le passage en coordonnées polaires sur A v (voir section 5.2) : le membre de 
droite de cette dernière égalité peut s'écrire : 

f [ \F A */A.[f(exp(X + A))}\ 2 dXdA* , 

ou encore grâce à la formule de Plancherel euclidienne : 

(2vr)^ / / \f(ex V (X + A))\ 2 dX dA = (2tt)^ ||/f . 

J A v JR V 
Finalement, on a obtenu : 

^y'"' I I E I < f>* > \ 2 dr^\M^) = 2.27t(27t)^ ||/f , 
Je Jr l 

sachant que dans le cas paire, le terme 2.27T et l'intégrale contre dr* n'y sont pas. 
Ceci achève la démonstration du théorème 3.22. 

3.3.2 Inversion 

Pour toute fonction / G L 2 (N) radiale, on définit au sens L 2 : 

f{n) = j 0( n ) < f,(f) > dm{4>) , 
Jv 
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c'est-à-dire que / est la fonction de L 2 (N) qui correspond à la forme sesquilinéaire de l'espace 



les intégrales ci-dessus ont bien un sens, car on a : 

- d'une part g(<f>) G L 2 (dm((f))) par hypothèse, 

- d'autre part < h, <p >G L 2 (dm((f))) d'après la formule (3.9) de Plancherel, 

- d'où < h,(f)> g((j)) G L l (dm((t))). 

Réciproquement, soit g une fonction sur V. Si g E L 2 (m), on définit au sens L 2 la fonction 
/ : N — > C suivante : 



C'est une fonction radiale de carrée intégrable, et sa transformée de Fourier est donnée par : 

< fA>=g{<t>)- 

On peut aussi définir les distributions radiales à partir des distributions sur V . En effet, 
si h est une fonction C°° à support compact sur N (on note h G Cq'(N)), alors la fonction 
(j) i— >< h,(f> > est à décroissance rapide sur V (d'après la forme des fonctions et les propriétés 
des fonctions de Laguerre) et on a : < h, >=< h\ (f) > où on a noté : 



JO(v) 

Pour g une distribution de Schwarz sur V, en particulier pour g G L°°(V), on définit alors 
l'application linéaire 



l'application / est ainsi une distribution (radiale) sur N, dont la transformée de Fourier est 

< /,(/>>= g. 

3.3.3 Lien avec le cas non radial 

Nous donnons ici avec nos notations la formule de Plancherel non radiale, qui est déjà 
connue [Str91] section 6. 

On note m' la mesure produit tensoriel des mesures suivantes : 

- dk* la mesure de Haar sur 0(v), 

- m sur V. 

Théorème 3.24 (Formule de Plancherel non radiale) 



de Hilbert L 2 



(N) 







Soit^pe S(N). 
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ou II -Il if 5 désigne la norme de Hilbert-Schmitt sur les opérateurs de l'espace de Hilbert 
L 2 (R V ), et où on convient dans le cas v = 2v', H r *,A* = n A* et d'omettre l'intégration 
contre dr*. 



On pose pour une fonction / sur ./V : f*(n) = f(n 1 ). On déduit de ce théorème, ainsi 
que de l'égalité (3.5) : 

Corollaire 3.25 

Soient hi, h 2 C°° deux fonctions à support compact sur N, et F G L 1 ^ On a : 

| < F *h 1 ,h 2 > | < sup| < F,(f)> | ||/ii|| i2(iV) \\h 2 \\ L 2 (N) , 

<t>eV 

Démonstration :On déduit de l'égalité (3.5), que pour deux fonctions F±, h G ^(N) avec 
Fi radiale, on a, en notant II = Tl r * : \* et pour a G Ei : 

<fc*.n(F 1 */o.c a ,c«> = <n(F 1 )fc*.n(/i).Ca,Ca> = <fc*-n(^).c a ,n(F 1 )*Ca> 

<fc*.n(F 1 */l).Ca,Ca> = <F,<j>><k*.Il(h).Ç a ,Ç a > ■ 

Grâce à une approximation de l'unité radiale, cette dernière égalité est encore valable dans 
le cas F 1 = F, distribution radiale dont la transformée de Fourier radiale est bornée sur V. 

Reprenons les notations du corollaire. D'après ce qui précède, on a, toujours en notant 
n = II r » iA *,A* G £ : 

< k*.U(F * h * h*).( a , ( a > = < F, r *' A *^ >< k*.U(h * h* 2 ).( a , ( a > . 

Comme la famille ( a , a G E t: l G N v ' est une base orthonormée de L 2 (W'), on a en utilisant 
l'égalité ci-dessus : 

trace (k*.U(F * h x * h* 2 )) = < k *- U ( F * h i * ^)-Ca, (a > 

leN v ' a eEi 

d'où : 

(trace (k*.U(F *hi* h* 2 ))\ < sup | < F, > | V V | < fc*.n(/ii * h£).Ç a , ( a > | . 
Or on a par Cauchy-Schwarz dans L 2 (W') : 

|<fc*.n(/i 1 */$.Ca,Ca>| = |<fc*.n(/ ll ).Ca,A;*.n(/ l2 ).Ca>| 

< ||A;*.n(/ii).C a || L 2 (R „' ) \\k*.U(h 2 ).Ç a \\ L2{Rv/) , 

d'où : 

(trace (k*.U(F *hi* h%))\ < sup | < F, <\> > | V V | < fc*.n(/ii).C a , k*.U(h 2 ).Ç a > \ 

v leN v a e E i 

< sup|<F,0>|||F.n(/i 1 )|| H5 ||F.n(/ i2 )|| H5 . 

4>er 
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Utilisons la formule de Plancherel non radiale : 



< F*h 1 ,h 2 >= F * h x * h*(0) = J trace (jfe*.n r . )A .(F * h x * h* 2 ))dm'(r*, k*, A*) , 

puis l'inégalité ci-dessus (en omettant les indices des représentations II et certains arguments 
de m') : 

\<F*h 1 ,h 2 >\ < [sup \ < F,0> | ||A;*.n(/i 1 )|| JÎ5 ||A;*.n(/i 2 )|| JÎ5 rfm , (r*,F,A*) 
J <t>ev 

< su P |<F,0>|f / \\k*.H{h 1 )\\ 2 HS dm'] 2 ( f \\k\Ii(h 2 )\\ 2 HS drr? 1 



<t>ev 



= SUp| < F,<j> > | |N| L 2 (Ar) \\ h 2\\ L 2 {N) , 

d'après Cauchy-Schwarz puis le corollaire 3.24. □ 



87 



88 



Chapitre 4 

Utilisation du calcul de Fourier radiale 
sur N V £ 

Grâce au calcul de Fourier obtenu dans le chapitre précédent, nous contrôlons la norme 
L 2 des fonctions d'aires dans le cas du groupe nilpotent libre à deux pas, et nous étudions 
le problème des multiplicateurs. 

4.1 Contrôle L 2 des fonctions d'aire pour N v $ 

Le but de cette section est de démontrer le théorème 2.3.b). 

Comme dans le cas d'un groupe de type H, on pose pour une fonction sphérique bornée 
u E Q de N pour 0(v) : 



&(u;) := y J \dî <fi s ,u> ^s^-Hs . 

Nous reprenons les mêmes notations et conventions pour le groupe N = N Vi 2 que dans 
le chapitre 2 et pour les fonctions sphériques bornées = r *' A *' i g V que dans la sous- 
section 3.3.1. En particulier z = v(v — l)/2 et v — 2v' ou 2v' + 1. On suppose v' > 2 dans 
toute cette section. 

Le théorème 2.3.b) sera démontré une fois que l'on aura démontré les deux propositions 
suivantes : 

Proposition 4.1 (<S J et 

Pour j G N - {0}, on a : 

V/GL 2 (iV) ||5(/)|| < sup |^(0)| H/ll , 

4>er 
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Proposition 4.2 ( S j ) 

oo 

Si v' > 2, il existe une constante C > telle que : 

Vj < , v + 1 Vcj G P < C . 

Nous pourrions utiliser la même démarche que sur le groupe de type H ; c'est-à-dire 
utiliser une mesure spectrale E abstraite sur le spectre de l'algèbre commutative L 1 ^, en 
identifiant ce spectre à l'ensemble des fonctions sphériques Q. Nous serions alors amenés à 
faire des estimations sur Q tout entier. Nous allons plutôt utiliser la mesure de Plancherel 
non radiale du théorème 3.24. Cela nous permettra de ne demander des estimations de 
que sur la partie V des fonctions sphériques. 

4.1.1 Fonction d'aire et S\lS) 

Nous démontrons ici la proposition 4.1. Dans cette sous-section, on utilise les notations 
des sous-sections 3.2.1, 3.3.1, et 3.3.3. En particulier, en utilisant la formule de Plancherel non 
radiale donnée dans le théorème 3.24, et la base orthonormée de L 2 (W°') ( a ,ae E h le W 
pour calculer la norme Hilbert-Schmidt des opérateurs, on a pour toute fonction / G S(N) : 



= Jj2Y,\ k *- U r*Mf)U 2 dm'(r*,k*,A*) . (4.1) 



2 

L 2 (N) 

l aeEi 



La proposition 4.1 découle du lemme suivant : 



Lemme 4.3 

Soit f G S{N). On a : 



\&(f)" 2 



L 2 (N) 



! J2\S 3 (r At ' l )\ 2 J2\ k *- U ^Mf)-U 2 drn'(r\k\A*) . 



En effet, admettons ce lemme. On a donc : 



\S j (f)\\l HN) < /"^|sup^(0)| 2 ^|F.n r%A ,(/).C a |W(r*,F,A*) 

= |sup^'(0)| 2 f Y, E \k*.nr*Mf)U 2 dm'(r*,k*,A*) 
= |sup^'(0)| 2 / \\k*.Tl r * A *(f)\\ 2 HS dm>(r*,k*,A*) 



<pev 

sup^(0)| 2 H/llï 2( iv) 
<pev 



grâce à la formule de Plancherel (4.1). 
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Démontrons le lemme 4.3. Par Fubini, on a : 

roc 

P J (f)\\l HN) = / \\di(f^ s )\\ 2 L2{N) s^ds . 

J s=0 

Appliquons la formule de Plancherel (4.1) à d J s (f * fi s ) G S(N) ; 

i e ^v' a&Ei 

Appliquons le lemme suivant à II = k*.Tl r * : A* et ( = ( a : 
Lemme 4.4 

Pour une représentation (H, II) E N et un vecteur ( G H, on a : 

n(ôj(/*^)).c = 9î'.(n(/)nOi.)-0 • 

Ce lemme sera démontré à la fin de cette sous-section. 

Comme /i s est une mesure radiale de masse finie, l'opérateur /c*.Il r * iA »(/i s ) vaut d'une 
part toujours Il r » a*(/i s ) et d'autre part en restriction à chaque sous espace V/, l'identité à la 
constante < fi s , <fi r * ,A *' 1 > près (voir sous-section 3.2.1). On en déduit : 

r.n r *, A *(/)F.n r *, A *(/x s ).Ca = fc*.n r ., A .(/) (< ^ s ,f*' A *' 1 > id.c«) 

= <^,<^ A ^>F.n r *, A *(/).c a . 

Rassemblons les deux arguments précédents ; on a : 

k*.n r * A *(di(f*Hs)).(a = 'H. < l,,.0 ! '- A J > fcMI r ., A .(/).Ca , 

et 

£ l^-n^,A*(^'(/*^)).Cal 2 = K <Hs,r A *> 1 >I 2 E |r.n r%A ,(/).c a | 2 . 

Revenons à 



s j (f)\\ LHN) = 




s^ds 



En utilisant Fubini, on trouve : 

\\s j (f)\\ L2{N) = [J2 r \d j s .<^r A "' l >?s^- i ds 

£ |A:*.n r%A *(/).C a |W(r*,F,A*) 
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Grâce à la définition de S 1 - 7 , on en déduit le lemme 4.3. Pour que la preuve soit complète, il 
reste à montrer le lemme 4.4. 

Démonstration du lemme 4-4 : Comme /x s est une mesure de probabilité, II(/x s ).£ est bien 
définie (par dualité) comme vecteur de Tt. 

Comme / * /i s et d 3 s (f * /i s ) G S(N), on voit pour un vecteur (' G Tt 

<ïl(di(f*^)).(,C> = [ diU*^)(n)<Tl(n l ).C,C>dn 

JN 

= di [ (f*Li s )(n)<Il(n).(,C>dn . 

JN 

On définit donc par dualité le vecteur de Tt : 

n(^(/*^)).C = di [ (f * iM a )(n)U(n).Cdn . 

JN 

On peut aisément calculer (car / G S(N) et /i s est une mesure de probabilité à support 
compact) : 

/ (/* / u s )(n)n(n~ 1 ).Crfn = I I f(n'- 1 n)Yi(n- 1 ).Cdnd^ s {n') 

JN JN JN 

= / / f(n 1 )n(nî 1 n'~ 1 ).(dndiJ, s (n') , 

JN JN 

après le changement de variable ni = n'~ 1 n; grâce à Il(n|f 1 n / ~ 1 ) = Il(n^ 1 )n(n'~ 1 ), on a 
finalement : 

/ (f* f i s )(n)U(n- 1 ).(dn= I f( ni )U(n^). [ n^'- 1 ).^-^') dn . 

JN JN JSt 

□ 

Ainsi, le lemme 4.4 est démontré, donc le lemme 4.3, puis la proposition 4.1 le sont 
également. 

4.1.2 Estimations de S j 

Cette sous-section est consacrée à la démonstration de la proposition 4.2. Nous admet- 
trons plusieurs lemmes, qui seront démontrés dans la sous-section suivante. 
Fixons <fi = (f) r *' A *' 1 g V, et h G N - {0}. On note A* = D 2 (A*). 

Lemme 4.5 

L'expression d% < fj, s , (fi > peut s'écrire comme une combinaison linéaire sur les deux couples 
d'entiers g = (h±, h 2 ) et j = j 2 ) ( et l'entier h si v est impaire ) tels que : 
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- hi + h 2 = h si v est paire, et h\ + h 2 + h = h si v est impaire (et dans ce cas, on note 
h = h 1 + h 2 ), 

- etO< ji < fn/2,i = l,2, 
de : 

f?> h ( s ) := s d ^ f b h > h 'i +jl {r,s) J% +h) (s 2 VT^\ A*\) 

Jr=0 2 

(VÏ^\A*\) h ' 2+n r"- l (l -r A )^dr , 

où on a noté : 

- les entiers di = d(ji, hi), i — 1, 2, (décrits dans le lemme 4.5), 

- fn = 2/4 2h'i + 1 pour i = l,2, 
ainsi que : 

b h ' n (r,s) = [ (irr*x v )' h e irsr * Xv dl 
Js[ v) 

Jusqu'à la fin de cette section, nous gardons les notations de ce lemme, que nous démon- 
trerons dans la sous-section 4.1.3. La proposition 4.2 est donc équivalente à la proposition 
suivante : 

Proposition 4.6 

Les intégrales : 

J9d / |^( S )|2 s 2ft-l ds 

Jo 

sont bornées indépendemment de A*,r*,l, et ce pour tous les paramètres g,j comme dans 
le lemme 4.5, tant que h < v + 1 + 3/4, (z - l)/4, (z - 2)/2. 

Le reste de cette sous-section est consacrée à sa démonstration, d'abord dans le cas 
/i^0,r*^0our*=0, puis dans le cas h = 0, r* 7^ 0. 

Majorations des f h K,h,h 2 ,h s i 7ï / ou r* = 

Nous souhaitons montrer la proposition 4.6 lorsque (h 7^ 0,r* 7^ 0) ou (r* = 0), si 
h < (z — 2)/2. On utilise la majoration des intégrales b h ' n (r, s), donnée dans le lemme : 

Lemme 4.7 

Les expressions b h ' n (r, s) pour < n < h, sont majorées à une constante près de v, h par : 

(\A*\r 2 ) n s-' h (\ A *\s 2 r 2 Y ■ 

0<i<h 

Admettons ce dernier lemme, et montrons la proposition 4.6 lorsque h 7^ 0, r* 7^ ou 
r* = 0. 



nA(A>V 



\prAX)\ 



2 



dd v (X) 
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Commençons par majorer l'expression de 6 ffJ (s) (voir lemme 4.5) par Cauchy-Schwarz : 

r 1 - i 
|6^'(s)| 2 < s 2(di+d 2 )| A *|2(^+j 2 ) / \bWi+h(r jS y-i(i- r 4)-*\ 2 dr 

Jo 

C \J ( â +n \s 2 VT^\A*\)(l - r 4 )^ + ^ +l \ 2 dr . 
Jo 2 

Utilisons le lemme 4.7. Si r* ^ 0, l'expression \b 9, i(s)\ 2 est majorée à une constante près par : 

fl lui , ■ \ . z-2 . h ' 2 +i 2 . 1 

/ |j2| + ' 2) (s 2 v / T^ :ï |A*|)(1 - r A )— + — + î\ 2 dr 
Jo 2 

r 1 i 

_ ^*^(h' 2 +j 2 +h' 1 +j 1 +i) s 2(d 1 +d 2 )-2h+4i / r 2(v-l+2i+2(h' 1 +j 1 ))^ _ r 4y2^ r 

Jo 

/*! , . . 2 — 2 tio-\-j2 1 

/ |J-£| + ' 2) (s 2 v / T r ^|A*|)(l-r 4 )— + ~ +3 | 2 rfr . 

Si r* = 0, on obtient la même expression avec h = i = 0. Comme la première intégrale en r 
est finie, I 9 '^ est majorée à une constante près qui ne dépend que de v et h par le maximum 
sur < i < h des intégrales : 

j{i) ._ ^*]2{h' 2 +j 2 +h' 1 +j 1 +i) j s 2(d 1 +d 2 )-2h+4i 

Jo 

Jo 2 

Rassemblons les exposants de s dans chaque intégrale jW ; on utilise d'abord — h + h = h = 
hi + h 2 , puis l'égalité (2.10) : 

2(d 1 + d 2 )-2h + 4i + 2h-l = 2(d 1 + h 1 + d 2 + h 2 ) +M- 1 = A(h' 1 +j 1 + h' 2 +j 2 )+4:i-l . 
Effectuons le changement de variable s' = s 2 \/l — r 4 |A*| : 



j(») = /°° |^( fe 2+J2)(y^|2> , 2 +i2+fe , 1 +ji+2i-i^ / /" ^ _ r 4)*-2+è-(fci+ii+2») dr 

Dans la dernière expression de jW, l'intégrale contre <ir est finie lorsque pour tout ji et i 

^-2 + --(/i' 1 +j 1 + 2i) > -1 ; 

or on a : 

h[ + ji + 2i < h + 2h = h + h < 2h ; 
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donc ces intégrales sont finies lorsque 2h < z — 1/2 (qui est toujours vérifié). L'exposant de s' 
dans l'intégrale contre ds' dans la dernière expression de JW, est : 

K +j2 + K+j 1 + 2i-l = d 1 + d 2 + h + 2i - 1 ; 

Comme nous nous sommes placés dans le cas où h 7^ 0, cet exposant est positif ou nul. 
D'après le lemme 5.1, cette intégrale est finie lorsque h' 2 +32 + h[ +ji + 2i — 1 < 2{z — 2)/2 ; 
or on a : 

K + j 2 + h' 1 +j 1 + 2i<h 1 + h 2 + 2h = h + 2h = h + h < 2h ; 

donc l'intégrale contre ds' sera finie lorsque 1 — q + 2h < — 1 ou encore h < (z — 2)/2. 

La proposition 4.6 est donc démontrée dans les cas (h 7^ 0,r* 7^ 0) ou (r* = 0), car dans 
ce dernier cas h = h > 1. 



Majorations des J°'° 

Nous souhaitons montrer la proposition 4.6 lorsque /i = et r* 7^ 0. Nous supposons 
donc ici r* 7^ et h — h, ou encore g = j = (0, 0) = 0. On utilise deux majorations de 
|6 /l '°(r, s)| données dans le lemme qui suit, ainsi qu'un lemme technique. 

Lemme 4.8 

Si A* 7^ 0,r* 7^ 0, l'expression b h '°(r,s) est majorée à une constante près d'une part par : 
(rr*) h , d'autre part par : 

(rr*s 2 ) ^ 2h 

Lemme 4.9 

Fixons j G N — {0}. On pose pour x > 0, a > : 



Ces intégrales pour i = 0, . . .2j sont majorées indépendemment de a > 0,x > lorsque 

z > 3/4, j < (z - I)/ A, et j < v + 1 + 3/4. 

Admettons ces deux lemmes et montrons la proposition 4.6 lorsque h = et r* 7^ 0, si 
v > 3, h < v + 1 + 3/4, (z - l)/4. 

L'intégrale 7°'° est la somme des deux intégrales : 

• l/r 



J°° := / " |6°'°( S )| 2 S 2 ^M S , 



00 

'l/r* 
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Comme b h '°(r,s) est majorée par (rr*) h à une constante près (lemme 4.8), et comme les 
fonctions de Bessel sont bornées par 1, l'expression b°'°(s) est bornée à une constante près 
par r* h . On obtient donc que l'intégrale J°° est majorée à une constante près par : 



Vr* _. . (l/ r *) 2h 1 



r* 2h s 2h - l ds - ~* 2h[ 



2h 2h 



D'après la seconde majoration de b h '°(r,s) du lemme 4.8, l'expression b°'°(s) est majorée 
à une constante près par le maximum des intégrales 

/ l ' ' J \J^(s 2 VT^\A*\)\r«-\l-r*)^dr, i = Q,...,2h . 
Jo {r*rs z ) 2 

Ainsi, l'intégrale Jo est majorée à une constante près qui ne dépend que de v, h par le 
maximum sur i = 0,...,2h des intégrales Jyl*\ r *h h \ d'après le lemme 4.9, Jo est donc 
majoré indépendemment de r*, A*, l lorsque h < (z — l)/4 et h < v + 1 + 3/4. 

Ceci achève la démonstration de la proposition 4.6 dans le cas r* ^ et h = 0. Comme 
les autres cas ont été précédemment démontrés, la proposition 4.6 est prouvée sous réserve 
que les lemmes 4.5, 4.7, 4.8, et 4.9 soient démontrés. 



4.1.3 Démonstration des lemmes techniques 

Dans cette sous-section, nous démontrons les lemmes techniques utilisées dans la sous- 
section précédente. 



Démonstration du lemme 4.5 

Pour démontrer le lemme 4.5, nous avons besoin de l'expression de < fj, s , > : 
Lemme 4.10 

Rappelons que pour n eN — {0}, d n désigne la mesure de masse 1 sur la sphère euclidienne 
S ( / l) de l n . On a : 

<»sA>= 2 f I e 1 ^ XI Ci (X*t 2 |pi " j(X) 1 )d~a v {X) 
Jo Js[ v) i= l 2 

J I _2(s 2 Vl - r A \A*\) r v -\l - r 4 )^dr . 

Démonstration du lemme 4.. 10: D'après l'expression de donnée dans le théorème 3.1, et 
comme la mesure n. s est radiale, on a : 

</i s ,0> = </i s ,6 r *' A *' / >= / Q r *' A *> l (s.n)dii(n) 

= 2 f 1 [ [ Q r *' A *' l (srX, sV(l - r A )A)dâ z {A)dd v {X)r v -\l - r 4 )^dr , 
Jo Js[ v) Js[ z) 
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grâce à l'expression de proposition 2.7. Par définition de 6 r * ,A * ,i théorème 3.1, il vient 

f 0r*,A*,Z( srX) _ r A)A)dd z {A)dà v {X) 

i v) Js{ z) 



I, 



isrr x v 



S\ 



(v) 



n i ^.(^|pr J ( S rX)| 2 )^(X) 
Js[ z) 



Or la dernière intégrale contre a z vaut Jz-2 (s 2 \/l — r 4 | A*\), lemme 5.2. 

Nous pouvons maintenant démontrer le lemme 4.5. 
L'expression : 



□ 



d 



est égale à une combinaison linéaire sur h + h = h et h\ + h 2 = h du produit des 3 fonctions 



'j- £ ^( S 2 v / r^|A*D 



1. On calcule aisément : 



2. D'après le lemme 2.19, comme fonction de s 2 dérivée h\ fois, l'expression : 

Ip^-WI 2 . 



2 2 



3=1 A 3 2 



est combinaison linéaire sur < ji < hi/2 de : 



3. D'après le lemme 2.19, comme fonction de s 2 dérivée /12 fois, l'expression : 



Qh2 



J^i{s 2 VY^\A*\) 



est combinaison linéaire sur < j 2 < h 2 /2 de : 



^(s'v / T r H|A*|) 

= S ^( V ^374| A *| ) /l ' 2 +^J-^) (s 2 v ^374| A *| ) . 

2 

On conclut grâce à l'expression de < /i s ,0 > donnée dans le lemme 4.10. 
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Démonstration du lemme 4.7 dans le cas r* = 

Dans le cas r* = 0, on a h = h, h = et : 



b°' n (r,s) = I d n s , 

s[ v) 



j=i hy 1 2 



2 H 



L'expression : 

dfnC^s'r^-^p^) , (4.2) 

est combinaison linéaire de : 

n i V^*|''^',v'^| , (4.3, 

où J parcourt les sous-ensembles de N H [1,î/] tel que G N et z~2jeJ e J = n - Comme les 
fonctions de Laguerre et leurs dérivées sont bornées, on en déduit que l'expression (4.2) est 
majorée à une constante près de n, v par la somme de 

puis que \b ,n (r, s)\ est majorée à une constante près de n,v par (r 2 |A*|) n . 
Le lemme 4.7 est donc démontré dans le cas r* = 0. 

Démonstration du lemme 4.7 dans le cas r* ^ 0, h ^ 

La démonstration du lemme 4.7 repose sur h intégrations par partie. Avant de donner 
une démonstration générale, nous allons d'abord montrer le cas particulier : 

Lemme 4.11 

L'expression 6 1,0 (r, s) est majorée à une constante près de v par : 

l + (\A*\s 2 r 2 ) 



Démonstration de lemme 4-H-' Choisissons pour atlas de la sphère euclidienne de M? 
les deux calottes sphériques de pôles X 1 et —X 1 : 

Ci := {leSf, <X,X 1 >> et C 2 := {X e S[ v) , < X, -X 1 > > l -} . 



Fixons une partition de l'unité de la sphère pour cet atlas : c'est-à-dire deux fonctions C c 
il>i,ip2 définies sur la sphère S[ v ^ telles que : 

supp tpi C Ci et < ipi < 1 i = 1, 2 et ipi + ^ 2 — 1 sur S[ v ^ 
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Comme carte pour Ci, on considère la projection stérérographique de pôle Xi et on note C[ 
son image sur R" -1 . De même, pour C 2 , on considère la projection stérérographique de pôle 
—X 1 et on note C 2 son image sur W^ 1 . C[ et C 2 sont compacts. Par ces changements de 
cartes, les points X = J2i x i^i de la sphère sont paramétrés par les coordonnées Xi,i 7^ 1 ; 
de plus, la mesure d v s'envoie sur une mesure de densité contre la mesure de Lebesgue dx 
sur chaque domaine C^i = 1,2. La densité D h % — 1, 2 est C°°. 

On a donc en décomposant sur cet atlas puis en effectuant une intégration par partie : 



fe 1 ' ^) = 



irr*x„e irsr Xv 



(v) 



nC h {Xjsr — \ , 



3=1 



dà v (X) 



x 



E 



M s 



^d Xv e isrr * X "TIC, dà v (X) 



Jr s 

i=l,2 JU ' 
i=l,2 JC i 



^d Xv e isrr ^ h C h 4>i(X)dâ v (X) 



Ver. 



n c l .x v ij> i (x)D i 
j=i 



dx 



Nous avons omis l'argument des fonctions C mj , lorsqu'il vaut XjS 2 r 2 — ^ — , avec X fonct 
des paramètres de la cartes Cj. On a donc : 



ion 



S i=l,2 M 



n Cux^WDi 

3=1 



\dx 



(4.4) 



Estimons la dérivée : 



a 



n L h x v i) l {X)D i 



+x^ i (x) J D i a x „ 



Comme les fonctions de Laguerre et leurs dérivées sont bornées, on a : 



n4| < c , 



d Xl 
\d Xv 



■ v' 

Il Ci 

3=1 ' 



v' 

TIC, 



3=1 



30 



\w J0 (x)\ 2 



30 



\w jo (x)\ 2 
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où C est une constante de v. On en déduit pour i — 1,2 : 



\d x 



Ci 



n c ljXv ij l (x)D l 



+J2kcsV [ \d Xv 



dx < I C\d Xv [x v ip i (X)D i ] \dx 
x v ipi(X)Didx . 



|pr 70 W| 2 



Or chaque domaine C[ compact ; la fonction densité Di est C°° ; les intégrales des normes 
de x v ipi(X)Di et de sa dérivée, multiplié par 1 ou par la dérivé de |pr Jo (X)| 2 sont finies et 
bornées par une constante notée encore C qui ne dépend que de v. On obtient donc : 



\d x 



C'a 



n c h xMx)Di 

3=1 



\dx < C l + sV^A JO 



30 



On conclut grâce à la majoration ci dessus et \A*\ ~ J2j \ ams i Que (4-4). 



□ 



Nous pouvons maintenant utiliser la méthode que nous venons de décrire pour montrer 
le lemme 4.7. 
On a : 



b h ' n (r, s) 



(v) 



da v (X) = / ...vpiDidx 

1=1,2 JC'; 



=1,2 
9?, 



5] l(irx v ) h (irsy h di[e irsr 

,— 1 o J C A 



■ipiDidx . 



Après /i intégrations par partie, on a : 



=1,2 



J=l JV J 



, 2 lp r i( x )p 



Or l'expression (4.2) est combinaison linéaire de (4.3) où J parcourt les sous-ensembles de 
N fl [1, v'] tel que ej EN et YljeJ e j = n '■> P u ^ s l'expression : 



d h Xv dn s' 



ïlC h (X jS 'r 



(4.5) 



est combinaison des : 



ar 



n(v 21 ^ 



W AX)\ 
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donc grâce aux estimations des fonctions de Laguerre et de ses dérivées, l'expression (4.5) 
est majorée à une constante près qui ne dépend que de v et h par : 

(\A*\r 2 ) n (\ A *\s 2 r 2 Y ■ 

0<j<h 

Après intégration sur chaque domaine C-, puis sommation et multiplication par s~ h , on 
obtient la majoration voulue de \b h,n (r, s)\. 

Le lemme 4.7 est donc démontré dans le cas r* ^ 0, h ^ 0. 



Démonstration du lemme 4.8 

On a une majoration grossière de 



6 ft >°(r,s)= / (irr*x v ) h e irsr * x *IlC h (\ 
Jx i- 1 



i i i i 



)dà v (X) , 



à une constante près par (rr*) h car les fonctions de Laguerre sont bornées. 

Pour la seconde majoration donnée dans le lemme, nous procédons comme dans la dé- 
monstration du lemme 4.11. On a : 



b h '°(r,s) = f dà v (X) = f ---^D 



dx 



J2 [ (irr*x v ) h (irr*s)- 2h dî h v . [e^] UC h (X : 

^ I r" 3— 1 

1=1,2"' °i 



2 2 ^ i 

sV J 



)ipiDidx , 



et donc après 2h intégrations par partie : 

b h >°(r,s) = s~ 2h (trr*y h J2 



d: 



2h 



Ci 
2 2 



3=1 3 



dx 



En procédant de la même manière que dans la démonstration du lemme 4.7, on obtient que 
l'expression 



d 



2h 



j=l ^ V 3 



est majorée à une constante près (de v, h) par 



0<j<2h 



puis la majoration voulue de \b h '°(r, s)\. 

Ceci achève la démonstration du lemme 4.8. 
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Démonstration du lemme 4.9 

Dans le cas où i = 0, en majorant les fonctions de Bessel par 1, on voit 



oo / /•! z _ 2 - 2 



< \x\-*J r^l-r^dr) s^ds 

= ^ r^-'il-r^drj x~ 2 s'^ds . 

et donc l'intégrale J^l-j est majorée à une constante près par 1 / (2j) 

Dans le c 
le produit de 



Dans le cas où i = 1, . . . , 2j, par Cauchy-Schwarz, l'expression (J^|. ■) est majorée par 



f°° / \ 



2 , 1 

4j ' 



et de l'intégrale : 

-oo / rl 



< (^j\as\y\J^(s 2 VT^a)\r v - 1 - k (l -r 4 )^dr^j ^ 

/oo / rl z _ 2 \ 4 flo' 

U (sV 2 ) î |J £f 2(s'v / T r H)|r î; - 1 - J '(l-r 4 )~drJ — 



après le changement de variable s' = as 2 . Cette dernière expression est majorée grâce à 
l'inégalité de Hôlder appliquée à l'intégrale contre dr par : 

s' 41 Ç (|J £ _2(s , v / r^)|(l-r 4 ) £ ^ +i ) 4 rfr 



■"' ds' 



Dans cette dernière expression, la seconde intégrale contre dr est bien finie lorsque 

Vi = l,...,2j : v-l-j + 2i > -3/4 , 

c'est-à-dire lorsque j < v + 1 + 3/4 ; donc les intégrales (J^x-j) son t majorées à une constante 
près par le maximum sur i — 1, . . . , 2j des intégrales : 



/ s' 

U^s^s^dë / 1 (1 - r 4 ) 4(£ ^ +|) - 44 rfr , 



5=0 2 
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après Fubini et le changement de variable s = s'y/1 — r 4 . Dans l'expression précédente, 
l'intégrale contre dr est finie tant que : 

4( — + g)-f 5 >-l.» = l.-.?» <=> +g ) - 4 2 > - 1 

3 

<=> ;>j , 

ce qui est le cas. D'après le lemme 5.1, l'intégrale contre ds est finie lorsque Ai — 1 — 1 < 
4(z — 2)/2 pour i = 1, . . . , 2j donc lorsque j < (z — l)/4 ce qui est le cas. 

Ceci achève la démonstration du lemme 4.9, et de tous les lemmes utilisés dans la sous- 
section précédente. 



4.2 Multiplicateurs de Fourier sur N v $ 

Dans cette section, on s'intéresse aux multiplicateurs définis par passage en Fourier sphé- 
rique sur le groupe N = N v>2 nilpotent libre à 2 pas. C'est le problème défini comme suit : 
soit / G L°°(m) ; on définit la fonction F la distribution radiale dont la transformée de Fou- 
rier est / (sous-section 3.3.2) ; on définit l'opérateur de convolution par F sur les fonctions 
simples de N : Tf(h) = h* F. Le problème des multiplicateurs en Fourier consiste à trouver 
des conditions sur la fonction / pour que l'opérateur Tf s'étende en un opérateur continu 
L p {N) -> L p (N) pour chaque p e]l, oo[. 

Autre problème des multiplicateurs. Le problème des multiplicateurs de Fourier a été 
étudié dans le cas euclidien et indirectement sur les groupes de type H, groupes nilpotents 
ayant un calcul de Fourier. En fait, l'étude dans ces cas est équivalente à un problème de 
multiplicateurs pour des opérateurs différentiels radiaux. En effet, dans le cas euclidien, cela 
se ramène au problème des multiplicateurs pour le laplacien —A standard : chercher des 
conditions sur la fonction m pour que l'opérateur m(— A) s'étende en un opérateur continu 
L p — » L p revient à considérer le problème des multiplicateurs en Fourier pour la fonction 
m(t 2 ), auquel Hôrmander a apporté une réponse optimale. Dans le cas des groupes de Heisen- 
berg, le problème des multiplicateurs de Fourier se ramène au problème des multiplicateurs 
pour les deux opérateurs : le sous-laplacien "de Kohn", et la dérivation du centre. Il en va de 
même plus généralement sur les groupes de type H [MRS96]. 

Notre travail repose sur le théorème des intégrales singulières, puis des estimations de 
normes L 2 à poids sur N. Cela conduit à effectuer de longs calculs techniques "côté Fourier" 
proches du cas des groupes de type H [MRS96]. Le résultat n'est qu'un premier pas dans 
l'étude du problème. Il n'inclut pas les fonctions constantes. Nous souhaitons essentiellement 
présenter nos solutions à quelques points techniques. En particulier, nous proposons une 
décomposition de l'espace "côté Fourier" et nous traduisons la multiplication par la norme 
"côté groupe", en opérateur "côté Fourier" (voir les opérateurs S et K plus loin). 
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Organisation de cette section. Apres avoir posé plusieurs notations, en particulier celle 
d'une partition de l'unité côté Fourier, nous donnons l'énoncé du théorème annoncé dans l'in- 
troduction, puis la démarche de la preuve. Cette dernière utilise des estimations de normes L 2 
sur le groupe, que nous démontrons dans la section suivante grâce à de opérations effectuées 
"côté Fourier". 

4.2.1 Notations et résultat 

Nous supposerons v' > 2. 

Partition de l'unité sur "P 

La partition est indicée par le produit des ensembles / := I r x x î\ où : 

- Ii est l'ensemble des w'-uplets ( = (Ci, • • • , Ç v ') £ ; 

- I\ est l'ensemble : 

Ia ■= {M) : r/G/I, Se I 2 A (rj)} , 
où I\ est l'ensemble des w'-uplets 77 — (771, . . . , rj v >) G V' vérifiant : 

Vi < Vi+i + 1 » i = 1, 1 , 

et pour 77 G J A , I 2 ^ 7 ?) es ^ l'ensemble des w'-uplets <5 = (Sij) 1<:i< j <v i G Z"'^' -1 )/ 2 vérifiant 
la condition : 

2% _ 4.2* < 2 5 ^ < 4.2"' -2* 1 < i < j < v' . 

- I r est l'ensemble des 9 G M, qui est omis si t> = 2t>'. 

Soit x une fonction C°°, supportée dans l'intervalle [1/1,2] telle que : 

+00 

X > et \/y>0 : ^ X (2" J y) = 1 ■ 

j=—oo 

On définit la fonction Xl '■ T~* ~^ C pour t = (0, (77, 5), £) G / par : 

Xt (r, A,0 = X(2~V| 4 ) ,11 ,X(2- Çl (/, + 1)) X(2-*A?) n.x(2"^(A? - A 2 )) , 

\<i<v' %<j J 

en convenant que dans le cas v = 2u', les termes en r sont omis. Les Xt ont un sens pour des 

/ v \v — 1) 1 

paramètres t G Z x Z v x Z 2 x N 1 ' , mais dans ce cas Xi — sur *P- 
On obtient une partition de l'unité de V : 

V0GP : J> t (0) = 1 • (4.6) 

C'est une somme localement uniformément finie c'est-à-dire qu'il existe une borne C (ne 
dépendant que de x et v') telle que pour tout G V, le nombre de paramètre t vérifiant 
Xi{4>) est au plus C. 
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2^ 



Partition de l'unité de supp Xl 

On définit pour h G Z la fonction Xh £ L 2 (m) par : 

Xfc(0) = xf2- /l (^A î (2/ î + l) + 

On pose pour des paramètres h G Z, et i = (0, 77, 5, G / : 

St :=X)2^ (+2§) . 

Sur le support de la fonction % t , on a : 

2~ 2 s t < ^Ai(2Zi + l) (+|r| 2 ) < 2 4 s t . 

i 

On a une partition de l'unité finie sur le support de Xt, '■ 

V0 G supp X c ■ J2 Xh ^ = 1 • ( 47 ) 

/i£Z:2- 3 s t <2' i <2 5 s t 

Opérateurs sur "P 

Nous avons déjà rappelé nos conventions de notation sur le transformée de Fourier eucli- 
dienne. On utilisera aussi ici la transformée de Fourier sur Z v et T v , où T désigne le tore 
R/[0,2tt]. 

On définit les opérateurs Aj,<9A 4 ,<9 r sur les fonctions tests / : V — > C G V(V) par 
(A=(A ll ...,V)e£ 1 I = (I 1 ,..,I,)eN»',reK + ) : 

A,./(r,A,0 = /(r, A, (/!,..., Zi + l,...,/;))-/^, A, Z) , 
d Xi .f(r,A,l) = d Xl .[\i i-> /(r, (Ai, . . . , Aj, . . . , A„/),Z)] , 
d r .f(r,A,l) = d r .[r^f(r,(X 1 ,...,X i ,...,X v/ ),l)} . 

On étend ces opérateurs par dualité sur l'ensemble V(V) des distributions de P. 
On étend les fonctions / : T 3 — > C de manière triviale en une fonction 



/: { {rAJ) ^ / /(r,A,Z) si(r,A,Z)GP , (4.8) 



x W xZ" 

sinon . 

On identifie souvent une fonction sur V, et son extension triviale. 
On remarque : 
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Lemme 4.12 

Soit i = (9, (rj, S),Ç) £ I- Sur le support de la fonction Xi, on a l'équivalence de la fonction 
densité de la mesure rf sur le simplexe C par rapport à la mesure de Lebesgue dA 



dA 



où on a noté : 

d(rj,5) : 



\S\ + \ \r]\ dans le cas v — 2v' , 
\ô\ + j\r)\ dans le cas v = 2v' + 1 . 

En particulier, on a : 

V/GL°°(m) : ||/ Xt || L2(m) ~ 2« \\f X M LHM ^^) , 
où on a identifié fxt, G L 2 {m) et sa fonction étendue de manière triviale sur RxR" xZV 

Opérateurs sur L 2 (R X M?' X Z v ') 

On associe à un paramètre i = {9, (rj, ô),() £ I, les quantités suivantes : 
L L = min ôij + 4 max \r]i — min ôij | , 

i<j ' io i<j 

R, — — max(9, min & ,•) , 

D L = 8 max \r) io — min^j | + max(— min Si j + 9, 0) + 4 max(j , 

io i<j ' i<j ' i 

et l'opérateur non borné auto-adjoint positif sur l'espace de Hilbert L 2 (R x W°' x Z v ') donné 
par : 

v' v' 

2 



T t := Id + £2^+2^ + 2^$> t ? 



i=l 



Énoncé du théorème 

Avec les notations précédentes, on peut énoncer le résultat de notre étude : 

Théorème 4.13 (Multiplicateurs) 

Soit f G L°°(m), une fonction de V . 

On note F la distribution radiale dont la transformée de Fourier est f. On définit alors 
l'opérateur Tf de convolution par F sur les fonctions simples de N = N Vy2 . 

On identifie f L = fxi à son extension triviale sur R x M? xZ". 

S'il existe e > Q/2 tel que la somme suivante : 



te/ 



T?.f L 



est finie, alors l'opérateur Tf s'étend en un opérateur continu LP — > L p pour tout 1 < p < oo. 
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Les hypothèses de régularité ("plus de Q/2 dérivées"), et de décroissance ne sont pas véri- 
fiées pour les fonctions / constantes. Cependant, les moyens mis en oeuvre dans cette étude 
(en particulier l'expression des opérateurs S et N) permettront dans des travaux ultérieurs 
d'améliorer ce premier pas pour des fonctions assez régulières mais peu décroissantes, puis 
éventuellement d'adapter certaines méthodes des groupes de type H. 

Remarquons que dans le cas d'un groupe de type H, la forme des valeurs propres pour 
les fonctions sphériques du sous-laplacien de Kohn et des dérivations du centre permet 
de regarder de manière équivalente les problèmes des multiplicateurs de Fourier et spec- 
traux conjoints pour ces opérateurs différentiels radiaux ; en particulier, certaines propriétés 
connues des multiplicateurs spectraux sur les groupes de Lie nilpotents [Chr91, Ale94] sont 
utilisées dans [MRS96]. De tels phénomènes dans le cas de N v>2 ne semblent pas aussi directs. 
En effet, le centre est de dimension v{y — l)/2, il n'y a pas de "directions indépendantes" 
et Y^=i Aj(2Zj + 1) + r 2 est la valeur propre du sous-laplacien L pour la fonction sphérique 
bornée r ' Ai/ g V (voir (3.7)). Il sera aussi moins facile que dans la cas d'un groupe de type H 
d'utiliser sur N v>2 les résultat sur les multiplicateurs de Fourier au problème des multipli- 
cateurs spectraux pour le sous-laplacien (i.e. trouver un exposant optimal pour la classe de 
Sobolev locale des fonctions qui sont des mutliplicateurs spectraux). 

4.2.2 Démarche de la démonstration du théorème 4.13 

D'après le théorème des intégrales singulières [CW71], pour que l'opérateur Tf s'étende 
en un opérateur continu L P (N) — > L P (N), il suffit de montrer : 

3C l >0 : Vh \\T f (h)\\ L2 < KM» (4.9) 

3C 2 ,C 3 >0 : Vy,y eN [ \F{ny- 1 ) - F(ny^)\dn < C 3 (4.10) 

J\ny^\>C2\yy^\ 

D'après le corollaire 3.25, la condition (4.9) est déjà vérifiée avec Ci = \\f\\ Lao - 
Avant de passer à l'étude de la condition (4.10), nous explicitons les décompositions de 
fonctions dont nous aurons besoin pour cette étude. 

Décompositions des fonctions sur "P 

Soit / G L°°{m). On définit pour i G / la fonction f L := fxi G L 2 {m). D'après la 
décomposition (4.6) de l'unité, on voit que l'on a décomposé : 

/ = £/. • 

te/ 

Nous décomposons aussi f L sur supp Xi- O n définit les fonctions f h h G L 2 {m) par : 
kh ■•= hXh = ÎXOCh , i> e I, h G Z : 2' 3 s L < 2 h < 2 5 s L . 
D'après la décomposition (4.7) de l'unité, on a : 

fi ^ ^ fi,h 

h&:2- 3 s L <2 h <2 5 s L 
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Décompositions de fonctions radiales sur N 

On définit les fonctions F L ,F Ly h G L 2 (N)^ comme les fonctions radiales dont les trans- 
formées de Fourier sphériques sont respectivement f t ,f h h- D'après la proposition 3.19, la 
fonction Xh £ L 2 (m) est la transformée de Fourier du noyau de l'opérateur x(2~ h L) , 

On décompose : 

F = J2 F ^ et F t = F ^ h ' ( 4U ) 

te/ 2- 3 s L <2 h <2 5 s L 

la somme pour F converge dans S(N)' (l'ensemble des distributions tempérées), et la somme 
pour F L est finie. Pour F c , on voit : 

F hh = F L *x(2- h L).ô , (4.12) 

où l'on a noté x(2~ h L).ôo le noyau de l'opérateur x(2~ h L). 
Par homogénéité du sous-laplacien on a : 

X (2- h L).ô (y) = 2 h > x(L).S (2Ïy) . (4.13) 

En effet, on a : L Sr = r 2 L 7 où on a noté ô r la dilatation sur des fonctions h : N — > C et 
sur des opérateurs T sur un espace de fonctions stables par dilatation : 

ô r .h := h(r.) et T ôr .h := 5 r -i. (T.(5 r .h)) . 

On en déduit que pour une fonction m G <S(R), en notant M G S(N) le noyau de l'opé- 
rateur m(L), et M r G S(N) le noyau de l'opérateur m(r 2 L), on a la propriété d'homogénéité 
du sous-laplacien : 

M r = r~ Q 5i.M . 



Étude de la condition (4.10) 

Pour les paramètres : 

tel , h G Z : 2~ 3 s L <2 h < 2 5 s L , y,zeN , r > , 
on note l'intégrale : 



\yn 1 |>4r 

et son supremum sur \yz^\ < r et h 



h,h;y,z;r ■= / \F h h{yn X ) - F L<h (zn l )\dïl , 



y,zEN vérifiant \yz 1 \ < r 
heZ vérifiant 2~ 3 s, < 2 h < 2 5 s, 



108 



D'après les décompositions (4.11) et le fait que le nombre des entiers h G Z vérifiant 2~ 3 s t < 
2 h < 2 5 s t est borné indépendemment de i G /, la deuxième condition (4.10) sera vérifiée, si 
la condition suivante est satisfaite : 



3C > : Vr > ^ S t<r < C 



(4.14) 



te/ 



Pour étudier l'intégrale I h h;y,z;r, nous avons besoin de définir pour te/, pour e' > et 
g G L°°(m) dont le support est inclus dans celui de Xi ( en particulier g G L 2 (m)), 



iVQ?):= (l + *f|n| 4 ) e G(n) 



L 2 (neiV) 



en notant G G L 2 (N) la fonction dont la transformée de Fourier est g. 
Proposition 4.14 

Pour (Q + l)/2 > e > (5/2, l'expression S hr est majorée à une constante qui ne dépend que 
de e, p, par : 

1 _Q 1 

min(s t 2 r, 1) s L 4 (rs t 2 ) N L ^(f L ) . 
Dans la section qui suit, nous montrerons la proposition suivante : 

Proposition 4.15 

Soit i(9, (rj, 5), Q G I un paramètre. 

Pour tout e > 0, on a pour toute fonction g G L°°(m) identifiée à sa fonction étendue de 
manière triviale sur Kxl" x Z v : 



supp g C supp x, AU<?) < C2 d ^ llîf .^1 



L 2 (MxR»'xZ»') 



où C désigne une constante qui ne dépend que de v, e, et en particulier pas de la fonction g 
ou du paramètre i. 

Admettons ces deux propositions. On en déduit que l'expression S hr est majorée à une 
constante près par : 



min(s 2 r, 1) s t *(rs?) ' + 2 2 d ^ 5) 



T?.f t 



L 2 (RxR» xZ« ) 
î 

- Si l est tel que sir < 1, alors l'expression (4.15) est majorée par : 



(4.15) 



1 — £+■* 



s?rs t 4 (rsF) 2 d( "' 5) 
de plus, on a r < s b 2 d'où : 



Sirs, 4 (rs 2 ) 



i -e+i 



s 2 r + 2 < s,. 2 2 
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- Sinon, on a : sir > 1, et l'expression (4.15) est majorée par : 



_Q 1 -e+f 

s t 4 (rs t 2 ) 2^ 



< s. 4 2 d(,? ' 5) 



La somme sur t G / de ce terme est bornée pour une puissance e ç]Q/2, — (Q + l)/2, 
indépendemment de r > lorsque la somme 



S) 



te/ 



sera finie. C'est exactement l'hypothèse du théorème 4.13. 

Donc le théorème 4.13 sera démontré lorsque les propositions 4.14 et 4.15 seront prouvées. 
C'est ce que nous faisons dans la sous-section et dans la section qui suivent. 



4.2.3 Étude de l'intégrale I L> h-y,z;r 

Cette sous-section est consacrée à la démonstration de la proposition 4.14. C'est une 

i 

conséquence du lemme qui suit lorsque K — si . 
Lemme 4.16 

On se donne un paramètre K > inférieur (à une constante qui ne dépend que de e, v ) à 2 2 . 
Pour lyz' 1 ] < r et e > Q/2, l'intégrale I h h-,y,z;r es t majorée à une constante qui ne dépend 
que de v, e, par : 

{min2tV}K^(l+rK)- £+ "||(l + KHrF t (n)|| L2(rieJV) . 

a=U,l v ' 

Démonstration du lemme 4-16: Dans la preuve, C désigne une constante qui ne dépend 
que des dimensions du groupe N, et éventuellement de e et qui pourra évoluer au cours du 
calcul. Lorsque lyz^ 1 ] < r, on contrôle l'intégrale I h h;y,z;r s °it d'après l'inégalité triangulaire, 
soit grâce aux inégalités de Taylor ([VSCC92], Théorème IV. 7. 3) : 

soit par 2 / \F h h(n')\dn' , soit par Crmax / \Xi.F h h(n')\dn' . 

J\n'\>2r 1 J\n'\>2r 

On cherche donc à contrôler pour D — Id ou Xi, i — 1, . . . , v les intégrales : 



'\n'\>2r 

En utilisant l'écriture (4.12), on a : 



/ \D.F hh (n')\dn' ; 

J\n'\>2r 



[ \D. X {2~ h L)My')\ [ mn'y'-^dn' dy 1 < J r , h , € , D \\ (1 + K\n\YF b {n) 

Jy'GN J\n'\>2r 



\L 2 (n&N) ' 
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par Cauchy-Schwarz et un changement de variable n = n'y' 1 , en dénotant l'intégrale 



JrW-= [ \D. X (2- h L)(y')\J f (1 + Kln'y'- 1 ]) 

Jy'eN V J\n'\>2r 



dn'dy 



'y'eN y J\n'\: 

Il suffit donc d'estimer les intégrales J r ,h,e,D- Or d'une part, d'après l'égalité (4.13), on a : 

D. X (2- h L)My') = 2*«+« D » D. X (L).ô (2Ïy') , 

où d(D) = si D = Id et 1 si D = X t est le degré de l'opérateur différentiel D ; d'autre part, 
on obtient de l'inégalité triangulaire : 

Vx,yeN : (1 + \xy\) < C'(l + \x\)(l + \y\) , 

où C désigne la constante de l'inégalité triangulaire ; on en déduit : 

/ (l + Kln'y'^lf^dn' < C' 2e (l + K\y'\f e [ (1 + K\n'\y 2e dn' . 

J\n'\>2r J\n'\>2r 

On calcule facilement cette dernière intégrale : grâce au passage en coordonnées polaires 
(voir (1.1)), puis au changement de variable p' = Kp : 

/ (1 + K\n'\y 2e dn' = [°° (l + Kp)- 2e p Q - l dp 

J\n'\>2r Jp=2r 

= k-Q / (i + p'Y 2e P ' Q ~ l dp' < k-Q / (î + p'Y 2t+Q - l d P ' 

Jp=2rK Jp=2rK 

= K~ Q (2e - Qy\l + 2rK)- 2e+Q . 

On a donc : 

/ (1 + K\n'y'^\)~ 2e dn' < C(l+K\y'\) 2e K- Q (l + rK)- 2e+Q , 

J\n'\>2r 

puis en rassemblant ce qui précède et en utilisant l'hypothèse sur K : 



J r , h , € , D < C2^ +d W^K-Q(l + rK)- 2 * +Q 

[ \D. X (L).5 (2Ïy')\(l + 2Ï\y'\) e dy' 

Jy'GN 

= C2^K-%(l + rKr + % [ \D.x(L).5 (y")\(l + \y"\ydy" , 

J N 

grâce au changement de variable y" = 2 2 y'. Or on a x G 5(R + ), d'où x(L).ô G S(N) ; les 
dernières intégrales contre dy" sont donc finies. On en déduit que pour tous les opérateurs 
D — Id ou Xi, i — 1, . . . , v, les intégrales J r ,h,e,D sont bornées à une constante près par : 



□ 
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4.3 Contrôle de la norme N he 

Le but de cette section est de démontrer la proposition 4.15. 
Par la formule (3.9) de Plancherel, on a : 

Ke(9) = [ \<(l + s 2 M 4 YGA>\ 2 dm(<j ) ) 
Jv 

= [ \<G,(1 + s 2 (|X| 4 + |A| 2 ))> > | 2 rfm(0) 
Jv 

Nous cherchons donc à exprimer les termes \X\ 2 (f> et \A\ 2 (p en fonction des opérateurs de 
décalage et de dérivation appliqués aux paramètres de = <p r,A ' l (n = exp(X + A)). 
Rappelons : 

r ' A ' / (exp(X + A)) = [ e i<k - D2 ^' A> f rM (k-\X)dk 

JO(v) 

où la fonction f rt \j = /</> est paramétrée par V et est définie sur W par : 

U(X) := é<W> ^(a.JEÎ^Q!!) . 



Opérateurs de décalage et de dérivation 

On utilisera les opérateurs de décalage A, a, f3, 7 sur les fonctions N — > C définis dans la 
sous-section 5.1.4. Pour une fonction donnée sur , on définit les opérateurs A,, ai, Pi, et 
7i pour i = 1, . . .,v' comme les opérateurs T ± ,a,P,'j agissant respectivement sur la ième 
variable entière de /. Les propriétés pour ces opérateurs données dans la sous-section 5.1.4 
conduisent aux propriétés suivantes pour les «j, $,7$ : 

c*. .&£,.(%■) = y^UL^yj) , (4.16) 

Pï-hAM = vA^AM) » ( 4 - 17 ) 

v' 

li-ïï-Aiivj) = onC' h nCi(yj) . 

On remarque que l'on peut déduire en dérivant encore l'égalité (4.16) suivant yi une autre 
égalité : 

7 , n c h ( yj ) = a t .c f k nMvi) = Au + vAO JA-fc) . (4.is) 

3 =1 3^ 3+ l 
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Grâce à ces égalités, on a facilement quelques propriétés de dérivation et de décalage pour 
la fonction : 

Pr V); 7oW = , (4.19) 



2 Jvy ' \ 
dxMX) = ^-.U(X) , (4.20) 

dlU(x) = (~y2 + (j;) 2 ) M*) • (4-21) 



On définit l'opérateur S sur les fonctions sur V : 

-dl si v = 2v' + 1 



(--< 



De l'égalité (4.19), on obtient facilement pour n = exp(X + A) : 

\X\ 2 (f)(n) = E.(j>(n) . 
On définit aussi l'opérateur sur les fonctions de V : 

K := £ dt - 2^.d Xm + + £ ^(A^ - a, - X j dx j + a,) 

m, m m î<jr J * 

i<j \ 3 i> 1 i 



si v = 2v' + 1. 



+ f ^(-Ai7i^ - 2ri<9 r a; + r 2 ^ + ird r ) - -^-<9 Ai 

Lemme 4.17 (Expression de \X\ 2 (p et |A| 2 </>) 

On a : 

S.0(exp(X + A)) = \X\ 2 (f)(exp(X + A)) 
K.0(exp(X + A)) = \A\ 2 (f)(exp(X + A)) 

Nous venons de montrer la première égalité. La sous-section qui suit sera consacrée à 
montrer la seconde. 



Remarque 7 Nous remarquons grâce à (5.10), (5.14), (5.15), (5.16), au lemme 5.6, que 
chaque terme de K, et de S, puis S 2 se développe en des termes comportant au moins "une 
dérivation discrète ou non". 
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4.3.1 Étude de \A\ 2 (j) 

Dans cette sous-section, pour alléger les notations, on sous-entendra les arguments et les 
paramètres du terme = r ' A,/ (exp(X + A)). 
On remarque : 

|A| 2 0= / A A * =k . Dm {A* ^e* <A *' A> } U(k~\X)dk , 

JO(y) 

où A est le laplacien sur l'ensemble A v des matrices antisymétriques. D'après son expression 
"en coordonnées polaires" (lemme 5.12), on a : 

\A\ 2 <j) = F 1 + F 2 + F 3 (+F 4 + F 5 si v = 2v' + 1) , 

où les Fi sont données par : 

Fi = [ E 9 L( A - e ' <feD2(A) ' A> } U(k-^)dk , 
Jo(v) m 

F * = [ E E ^[fc^e*^^]^- 1 ^.^^- 1 ^»»,»)) 

J °W i<j (m,n)eli,j 

U{k-\x)dk , 

^3 = / E yr^flW* - W- {A - e *<*^< A >^>} f^k^.X) dk , 
et dans le cas i> = 2v ' + 1 : 



i,i=2i,2i-l ^ 

F 5 = I J2v -d K {A^e*< k - D ^> A >} U(k~\X)dk . 

JO(v) ; A i 



IO(v) 

Exprimons différemment F± 

On a : 



^ = E^L-^-^i-^ 

m 

où les termes "correctifs" E 1 et E 2 sont donnés par : 

E 1 = 2W d^.e^^d^.fAk-'-Xïdk , 

m J 0(v) 

E 2 = [ e i<k - D ^' A >dl m U{k-\X) dk . 



114 



On peut exprimer à l'aide du terme <fi décalé ou dérivé ces termes Ei,E 2 . D'abord pour le 
terme Ei, on voit que d'après les égalités (4.20) et la linéarité des opérateurs a m , on a : 

Ei = 2W dxme ^(A)A> ^ M k-\ X );dk 
= 2J2^- f d Xm e*< k - D ^' A > U(k-\X)dk . 

m *m Jo(v) 



Or on voit : 



f dxmei <k.D 2 (A),A> f^.X) dk 
JO(v) 

= d Xm . [ e*< k - D ^ A >U(k-\X)dk- [ e*< k - D ^> A >d Xm U(k-\X)dk . 

Jo(v) JO(y) 

D'où on déduit d'après les égalités (4.20) et la linéarité des opérateurs a m : 

E x = 2^^.^.0-f^. / e^- D ^ A >d Xm U(k-\X)dk 

„ A m A m Jo(v) 

= 2 E ir-d^J -T 1 - f e i<k - D ^ A >^u{k-\x)dk 

m A m A m Jo(v) A m 



Ensuite, pour le terme E 2 , d'après les égalités (4.21), on a : 



On voit donc que l'on peut exprimer le terme F\ comme 



F! 



m o 

-■d\ m ~ 



A m. 



A m A m 



4 



EpQ r, a m o | a rr, + a r. 



Exprimons difFéremment le terme F 3 

On a : 



E x2 _ x2 ( a ^a, - Xjd Xj ) 4 - E 3 . 



Kj 3 l 
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où le terme "correctif" E 3 est donné par 



E 3 — 



J<k.D 2 (A),A> 



0(v) 



. A 2 - A 2 



i<3 



d'après (4.20). On voit donc que l'on peut exprimer le terme F 3 comme : 

^3 = 



. A 2 - A 2 

Kj 3 l 



Yl x 2 - A 2 ^ Xidxi ~ ai ~ Xjdx ' + °^ 

A<3 3 i 



Exprimons différemment F 2 

La somme est sur (m, n) G et i < j : 

^ dtt=oJo(v) 

= Y 2 [ e ^-DmA>d 2 f M ke -t.D k ,^-\k.B^, n )yl x)dk ^ 

où on a noté : (les {-E m ,„} désignent la base canonique des matrices antisymétriques) 

B m,n = D^Alfj^ik.E^n) = (Sj XjE m ^ nj + 6* XiE mijTli ) , 

et où les indices et les signes sont donnés par le tableau : 



(m, n) 






Ci 


(mi, 


(2i-l,2j) 




(2i-l,2j) 


+ 


(2i,2j-l) 


(2i,2j) 


+ 


(2i,2j-l) 




(2i-l,2j) 


(2i-l,2j) 




(2i-l,2j-l) 




(2i,2j) 


(2i,2j-l) 




(2i,2j) 




(2i-l,2j-l) 



Fixons i < j, et (m, n) G Tij et calculons 

llo / * ((fce " tB) " 1 - X) ' B = B ^ ■ 
Pour cela, nous allons effectuer un développement limité à l'ordre 2. Commençons par : 

Ipr^faT 18 )- 1 .*)! 2 = Ipr^e^^.X)! 2 = |pr p ((J + tB + ^B*)hr\X)\* + o(t 2 ) 

= |pr p (A;- 1 .X)| 2 + 2t<pr p (5A;- 1 .X),pr p (A;- 1 .X) > 

+t 2 (< pr p ( J B 2 A;- 1 .X),pr p (A;- 1 .X) > +|pr p ( J BA;- 1 .X) | 2 ) + o(t 2 ) 
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On obtient donc le développement limité (en convenant que lorsque leurs arguments ne sont 
pas explicités, les fonctions Ci p et leurs dérivées sont prises en l'argument (^p^-^j- — )) : 

où on a noté : 

a p = ap{B) = X p < pr p ( J BA;~ 1 .X),pr p (A;" 1 .X) > , 
b p = b p (B) = \ p (< Wp (B 2 k- 1 .X), Wp (k- 1 .X)>+\ Wp (Bk-\X)\ 2 ) . 

- a p (B) = b p (B) = lorsque i,j, 

- dans le cas v = 2v' + l,< X*, {ke~ tB y l .X >=< X*, k~\X >. 



On voit : 



On en déduit : 

=0 U((ke-^)~\x) 



A 2 

dit 



= ((^.+4q.)£^ ^<rx;, k -^ 
Pour calculer 

il suffit donc 

1. de calculer les expressions a 2 ,a 2 ,aidj, 

2. de calculer les expressions bi,bj, 

3. puis de les sommer sur (m,n) G Iij, ces expressions étant dépendante de la matrice 
antisymétrique B = B l ^ n . 

Calculons les expressions ai et aj. Comme on a : 

< prp (iUr'x W r'x)>= { %tyf2\ Z'-i 

on en déduit : 

^{eMk-'.Xl^.X}^ + eX[k-\X] ni [k-\X] mi ) , 

^(ejXAk-'-Xlfi-KX}^ +e i X i [k- 1 .X] ni [k- 1 .X] mi ) . 
j A % 

On en déduit les expressions a 2 ,a 2 ,ai(ij : par exemple, 



1 ~ X 2 -Xf 

dj = -—■ ; -p 

Aj — A,- 



= ,. 2 ^ (Ajtfc- 1 -^^^ 1 .^^ + X 2 [k-\X] 2 rH [k-\xi 
+2e î e,A î A,[A;- 1 .X] ri3 [A;- 1 .X] mj [^ 1 .X] n JA;- 1 .X] mi ) 
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Calculons les expressions bi et bj. Commençons par le premier terme de b p ,p = 
Comme on a d'une part : 

B 2 2 2 ( Aj -^rrij ,rij \ ,rii ) > 

[Àj - AJ 

et d'autre part : 

<^*-^).^(*-^)>={:p3 ; 

on en déduit que < pr p (_B 2 A;~ 1 .X), pr p (/c _1 .X) > vaut : 



~ l vi- \2r,.-i vi 2 

(A 2 - A 2 ) 5 



3 » 



(a, 2 - A 2 r 

Maintenant, calculons le deuxième terme de b p ,p = Comme on a d'une part : 

Ipr^SAT 1 .*)! 2 = — 1 — 2 {\)\ Wp {E mj , nj k-\X)\* + \*\ Wp {E mz , ni k-\X)\*) , 



et d'autre part 



on en déduit : 



Ipr^^A;- 1 ^)! 2 



[k l X] 2 n sip = i , 
\k- l X] 2 m sip = j , 



Rassemblons les deux termes de b p ,p = On obtient : 

h - ^(\ 2 (K-i^)+^rt-K)) > 



(Aj - Aj 



A,- 



bj (A 2 - A 2 ) 2 



Nous allons maintenant sommer sur (m, n) G ijj chacune des nouvelles expressions des 
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Sommons a\ , a? , a idj . On remarque que lorsque l'on va sommer sur (m,n) G ijj, les 
doubles produits 

2e i 6 j \^ j [k-\X]Jk-\X] m +k- 1 .X] ni [k- 1 .X] r 
vont disparaître et l'on va obtenir : 

A 2 



Irrii ' 



^2 <A{ B m,n) 
(m,n) 

^2 a 2 j{B m ,n) 

(m,n) 
(m,n) 



, A\) + \l)\ W ^\X)\^k'\X)\" , 

--^—- 2 (\ 2 + >Z)\w {k-\x)\*\ Wt {k~\x)\* , 
- i2 X %^ + xDlP^.x^ik- 1 -^ 



(A 2 - X] 



Sommons bi, bj. On obtient : 



(m,n) 
(m,n) 



2A v ^ + ^ 2 (Ipr^X)! 2 - | pr, ( A; ^) | 2 ) , 
-2A, A / + A f (Ipr^rt)! 2 - Ipr^A;"^)! 2 ) 



Autre expression de F 2 . On en déduit donc que la somme (4.22) est le produit de 

i2 , \2 



Xj + Aj 
(A? - A?) 



-n +■ Cl ( e i<rX;,k-KX>\ 



avec 



-2A J (|pr J (A;- 1 X)| 2 - Ip^X^C'^ + A>^~\X)| V^-^KA 
+2A î (|pr J (A;- 1 X)| 2 - \ Wl {k^X)f)C> h C h + A^pr^fc^.^Hpr^A;- 1 .^! 2 /:;;^. 

-2A î A,|pr J (A;- 1 .X)| 2 |pr î (A;- 1 .X)| 2 £;x; j . 

Grâce aux égalités (4.17), (4.16) et (4.18), on peut réécrire ce qui précède de la manière 
suivante : 

A ' A ' ; In, + 4A j7j ^ - 4a, - 4A i7i ^ - 80,0, )/,,(/,• '..V) . 

Ai Aj 



(A? - A 2 ) 2 



On voit donc que l'on peut exprimer le terme F 2 comme 

v2 , \2 



F 2 = 



^ (\2 



AT • Af . Pi s 



2 (~aj + -Oi + Xi-fi— - ÏOCiOLj) 

1 (A 2 - Af) Xi A, 



4 . 



i<3 v 3 

Supposons maintenant v = 2v' + 1. Il reste à exprimer comme opérateur de dérivé et de 
décalage sur <f> les termes F 4 , F 5 . 
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Exprimons différemment F 5 

D'après les égalités (4.20), on a 



A 

où le terme "correctif" E 5 est donné par : 



^5 = ]T--^ Am .0-£ 5 , 



^ = E-r-/ * i<ifcJMAM> d Xm Mk" 1 -X)dk = Y J -^Y 1 4 , 

m A m Jo(y) m A m * m 

grâce à (4.20). On voit donc que l'on peut exprimer le terme F 5 comme : 



T- (^U + T ) 



Exprimons différemment -F4 

Comme dans le cas du terme F 2 , on voit : 

2 



J °^i,i=iii-i Xi dtt=o 

Développement limité de f<t>((ke~ tE î> v ) 1 .X). On a pour % = 2% ou 2% — 1 : 

Ipr^e-'^r'.X)! 2 = |pr p (A;- 1 X)| 2 + 2t<pr p (^A;- 1 X),pr p (^ 1 X)> 

+t 2 (< pr^AT 1 *),?^" 1 *) > +|pr p (^A;- 1 X)| 2 ) + 

Or ici, on voit : 



1^ m 0.-1 y w - / [fc-^J^î sip 



<pr p (^A;- 1 X),pr p (A;- 1 X)> 



?, 



sinon 



<pr,(£fjfc-jr) lP .,(t-'J0> = {- rlA ' h si!, = ! • 

p l ' v p [0 sinon , 

Ipr^^X)! 2 = (f 1 ^ si .P = ' ' 
p ' [0 sinon . 

On peut donc faire un développement limité : 

nA(A> r - ((fce 7" rlx)|2 ) = (a^^^u^W 

+y* 2 (-[* -1 *]? + + \{^2t[k^X] v [k^X]Scl + o(t 2 )) 
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On peut aussi faire un développement limité de e t<rX î<( ke l,v ) x> . Commençons par : 

< X*, {ke-^-y 1 X > = <X*, é- E ^k~ x X > 

= < X* v , k^X >+t< X* v , E lv k^X > +Ç < X* v , E\ k^X > +o(t 2 ) . 

On voit : 

<x:,E lv k- l x> = [k-'X^ 

<X* v ,Elk~ 1 X> = -\k~ l X] v . 
On en déduit le développement limité : 

krX;,^"''^») *~X> _ e i<rX*,k~ 1 X> 



(l + x{t[k^X\ - ^[k-'xi) + \{xt[k^X\i) 2 + o(t 2 )) 



On peut donc obtenir le développement limité de f<f>({ke tEî ^) 1 .X) comme produit des 
développements de 

Le terme en \t 2 donne une autre expression de : 

jLo mke ~ tEi ' v) ~ l - x) 



(Ki-ik-'Xïï + [k-'X\l)C' k + (X^XUk-'X^fcl + 2r\ l [k~ 1 X} v [k~ l xf l C' li 
+ ((r[k- 1 X]~ i f-r[k- 1 X] v )C h ) U^ p C lp e l 



A<rX*,k~ 1 X> 



Autre expression de F 4 . Il reste à sommer sur i : 

i=2i,2î-l 

= (H-^k-'X])? + 2[A;- 1 X]:)£; i + Xj[k^X]l\ Wl {[k^X]yCl 
+2r\[k- l X} v \ Wt {[k^X}yC h + (^Ipr.dA;- 1 ^)! 2 - 2r[ÀT 1 X] J£, 4 ) 
11^ e î <^' fc - 1 ^> 

= (-2a, - 2À î7î <9 2 - 4™^ + (r 2 2^ + 2*r<9 r )^ .f^k^.X) , 
grâce aux égalités (4.16), (4.17) et (4.18). Par linéarité des opérateurs a^, fli,^i,d r , on a : 

. 



2 p. 
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Résumons 

On obtient donc l'expression : 

|A| 2 := ^9L-2^.9 Am + ^^ + ^ ] ^(AA i -^-AA, + %) 

m "' m i<j 3 1 

sr^ A, + A 2 » A A' \ 

i<j vA? *i) 1 3 



à laquelle il faut ajouter si v = 2v' + 1 : 

^2 ~ ^ilidî - 1rid r oii + r 2 y + ird r ) + ^ ~T-( d ^ m + y 1 ) 



m 



S "^(-Ai7^r - + r 2 ^ + irdr) - ^-d Xi 

i — 1 A; Ai Ai 



Ceci achève la démonstration du lemme 4.17. 



4.3.2 Propriétés des opérateurs S, 

Nous aurons besoin de connaître une expression manipulable des puissances de l'opéra- 
teur H 2 + K. Nous utiliserons toujours dans ce qui suit, la notation \a\ = J2i a i pour un 
n-upplet a = (ai, ... , a n ) G Z n . 

Lemme 4.18 (Expression des puissances de H 2 + 

Pour e G N, dans le cas v = 2v', l'opérateur (S 2 + K) e peut se mettre sous la forme de la 
somme des termes suivants : 

^:=gp(r) n^ | A ;_ A ^ 3 n, a?^ ô£ 0?Af } (rW) , 

où G QfX^, Xf , . . . , Xj;, X^] et r = (t+, rf , . . . , t^, rj). La somme est à prendre sur 
l'ensemble des paramètres I e qui est décrit dans ce qui suit : 

- I t est l'ensemble des paramètres P = (A, F) où A = (a,b,c,d) si v = 2v' et A = 
(a, b, c, d, e, /) si v = 2v' + 1, et F = (N, D) ; 

- les paramètres a = (a + ,a~) G W' x W' et b,c,d G N v> , et dans le cas v = 2v' + 1, 
e, / G N vérifient : 

2\N\ + |a- | + |a+ | < 4(|6| + 2\d\) -2e, e < / + 2|d| - 2e , |c| < 2|d| , 
(et les entiers e, / ont même parité si v=2v'+ï) , 

(4.23) 

et : 

< \b\ + f + \d\ <4e . (4.24) 
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- les paramètres N = (N it j), D = (D it j) G vérifient : 

\N\<e, |£>|<2e ; (4.25) 

- les paramètres a, b, N, D et e, / dans le cas v = 2v ' + 1 "qui sont les paramètres portant 
sur A et r dans le cas v = 2v' + 1", vérifient la relation d'homogénéité : 

2\N\ -2\D\ + \a + \ - \oT\ - \b\ = ~ 2e ■ ( 4 - 26 ) 

Les polynômes Qp,P G I e sont tels que la somme J2pEp s °tt symétrique en chacun des 
groupes de termes 

\i , i = 1, . . . ,v' k , i = 1, . . . ,v' A?±Aj,i<j , 

Ai , i = l,...,v' d Xi , i = 1, ...,v' . 

En particulier, le cardinal de l'ensemble I e est hnie, et ne dépend que de e. 

La condition (4.24) exprime le fait que dans chaque terme Ep, il y a au moins un dériva- 
tion (discrète ou non), et qu'il ne peut y avoir en tout que 4e. D'après la remarque 7, c'est 
déjà le cas pour e = 1. La preuve est faite par récurrence sur e. 

Démonstration du lemme 4-18: Le pas e = 1 est vrai, d'après les égalités (5.11), (5.12), 
(5.13), (5.15), (5.16) et les lemmes 5.6 et 5.7 donnés dans la sous-section 5.1.4. Supposons le 
pas e vrai. Montrons que le pas e + 1 est alors vrai. Commençons par montrer que l'opérateur 
S 2 (S 2 + K) e est de la forme voulue. D'après le lemme 5.6 et l'hypothèse de récurrence en 
particulier la symétrie des termes, il suffit de montrer que les opérateurs 

A- UC°A2 0+9i0 } a-HÇa^^-} ((^) 2p *)g P (r)n î A;"- a ^{/?Af} (rW) , 

pour les paramètres : 

Pio +Pj (+P*) = 2 » Pio,Pjo,P* e N , 0<q io <p io , 0<q jo <p jo , 

et a, b, c, d(, e, /) vérifiant les conditions (4.23) et (4.24) peuvent s'écrire comme une somme 
d'opérateurs de la forme : 

Qp(t) ^ Xf {J?A* } (r ë (id r ) f ~) . 

avec Qp G Q[-X"i", Xï, . . . , X~,], à, b, c, d(, ë, f) vérifiant les conditions (4.23) pour e + 1. 
Les propriétés de dérivation en r, et les égalités (5.18)-(5.19) donnés dans la sous-section 5.1.4 
permettent d'affirmer que c'est vrai. 
Ensuite montrons que l'opérateur 

E - + N) e , 
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est de la forme voulue. D'après le lemme 5.7 et l'hypothèse de récurrence, il suffit de montrer 
que l'opérateurs 



( \ 2 i \ 2 \ Ni ^ 

pour les paramètres P = (a, b, c, d(, e, /); iV, -D) G 7 e et : 

(a', b', c', d!) G N 4 , a' + 6' = 2 , 6' + c' < 2 , c' < 2d' , 
peuvent s'écrire comme une somme d'opérateurs de la forme : 

(X 2 + X 2 )^ 

Qp{r)n i<3 ^ ^- H, A*ô£ {Z?A*} (r ë (id r y) ; 

(A 2 - Aj) /; " V ' 

la somme se fait sur les paramètres P = (à, 6, c, d(, ë, /); iV, £)) G I e +i ; les polynômes Qp G 
Q[Xi, Xf, . . . , Xj, X~,\ sont tels que la somme est symétrique. Les deux égalités qui suivent, 
et celles (5.18)-(5.19) permettent d'affirmer que c'est vrai. 



{X^d Xl + AJX) JJd = 2iV 



(A?-A^) D " " (A?-AI) D 



+ - 77^ * c = (2iV - 8XD) V ; f + 4D(D + 1) 



(Xj-Xlf (A?-Ai) D 7 (A?-Ai) D+1 

Les mêmes arguments montrent que l'opérateur 

E r - ^)-Qp(r) n^ ^ + ^^ il \?d% {z?a*} , 

est également de la forme voulue. 
On calcule directement : 

ce qui permet d'affirmer que l'opérateur 

30 H) 

est de la forme voulue. 

Enfin, les propriétés de dérivation en r, et les égalités (5.18)-(5.19) permettent d'affirmer 
que les autres opérateurs de K appliqués à (S 2 + K) e sont également de la forme voulue. 

□ 

Ce lemme technique permet d'estimer les normes N L e , objet de la proposition 4.15. 
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4.3.3 Démonstration de la proposition 4.15 

Dans cette preuve, C désigne une constante qui ne dépend que de v, e et qui peut évoluer 
au cours du calcul. Nous convenons aussi que le signe ~ entre deux expressions a et b 
strictement positives, signifie qu'il existe une constante C telle que C~ l b < a < Ch. 

Soit t6/, e > et g E L°°(m). On suppose que le support de g est inclus dans celui de 
Xi (en particulier g G L 2 (m)), et que g est assez régulière. On note G G L 2 (N)^ la fonction 
dont la transformée de Fourier est g. 

D'après la formule (3.9) de Plancherel, on a : 

N.A9) 2 ~ l|(l + ^>| 4e )GW||^ (neiV) 

< (l + s 2e \n\ 4e )G(n),(f)> \ 2 dm(<P) . 



L 



Maintenant utilisons les opérateurs S, K que nous avons définis sur les fonctions g : V — > M. 
assez régulières. D'après le lemme 4.17, on a : 

(1 + s? |n| 4e )0(n) = (Id + sf(E 2 + K) e ).0(n) , 

et dans cette dernière expression, l'opérateur (Id + s 2e (E 2 + agit sur les paramètres de 
la fonction sphérique (nous identifions la fonction <p et ses paramètres dans V). 
Par conséquent, on a : 

< (l + s 2e \n\ 4e )G(n),(f)> = [ G(n)(l + s 2e \n\ 4e )(j)(n)dn 

Jn 

G(n)(ïd + s 2t {E 2 + K) e ).0(n)rfn 

= (Id + s 2e (2 2 + K) e ). I G{n)4>{n)dn 

Jn 

= (id+^(s 2 +Kr).s(0) , 

puis : 

N, e (g) 2 ~ ||(Id + ^(S 2 + K)^||^ (m) . 
Supposons e G N. Comme on a s t ~ £V \(2li + 1) +r 2 , et d'après le lemme 4.18, on voit : 



/■ 

JN 



P&Je 



ou : 



F P := Q P (r) \ I^Ô^A*} (r e (id r ) f ) , 

(A 2 -A 2 ) l ' 3 v / 

où Q P G Q[X+, Xf , . . . , Xj;, X^] et r = (r x + , rf, . . . , r~,). La somme est à prendre sur 
l'ensemble des paramètres J e qui est décrit dans ce qui suit : 
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- J t est l'ensemble fini des paramètres P = (A, D) où A = (a, b, c, d) si v = 2v' et 
A = (a, b, c, d, e, /) si v — 2v' + 1 ; 

- les paramètres a <E Z v et 6, c, d G BP , et dans le cas i> = 2v' + 1, e, / G N vérifient : 

2|JV| + |a-| + |a + | <4(|6|+2|d|), e < f + 2\d\ , \c\ < 2\d\ , 

(et les entiers e, / ont même parité si v=2v'+l) , 

et : 

< \b\ + f + \d\ <4e . (4.28) 

- le paramètre D = (D it j) G N 9 vérifie : 

\D\ < 2e ; (4.29) 

- les paramètres a, b, N, D et e, / dans le cas v = 2v' + 1 "qui sont les paramètres portant 
sur A et r dans le cas v = 2v' + 1", vérifient la relation d'homogénéité : 

-2|D| + |a|-|6| ( ) = . (4.30) 



Majoration de \\F P .g\\ ,P G J e 

Les opérateurs r + de translations ne changent pas la somme sur N v> ; et les opérateurs t 
peuvent juste faire disparaître quelques termes. Donc on a : 



2a,i]2ci |„|2e 



r 



lU^Af dl.g\^dAdr , 

les paramètres pour les termes en r, étant omis dans le cas v = 2v', drj'/dA désignant la 
fonction densité de la mesure rj' sur le simplexe C par rapport à la mesure de Lebesgue dA. 
Or le support de la fonction g est inclus dans celui de Xi- Outre l'équivalent de drj'/dA du 
lemme 4.12, on a sur le support de Xn l es estimations suivantes : 

- |rf ~ 2\ d'où |r| 2e < C2 e §, 

- A 2 ~ 2* d'où ILA 2ai < CTL2'* 0i , 



k ~ 2<< d'où n// 2 ^ < C 2 ^ 2 2c ^<, 



A 2 - A 2 ~ 2 5 ^ d'où IL^A 2 - A 2 ) 2DlJ > C- 2 T\ l<3 2 2 ^ D 



On obtient la majoration : 

\\F P .g\\ 2 < c 2 2 2d{71 ' s) 2 cxp [ [ J2\ U i d i A i id ï-9\ 2drdA > 

où on note momentanément l'exposant : 

exp := -25.D + a.r] + ^-9 + 2c.( . 
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Notons 5™ = min^ ^j et C t M = max;Ci- On a S.D > S™\D\. Utilisons P G J e . On a 
d'après la condition (4.30) : 

-2S.D < -2S?\D\ = (\b\- \a\ + ^)<T , 



d'où : 



exp < (\b\-\a\ + f -^)5T + a.r 1 + e -0 + 2cC 

= \b\s? + 5>(^ - o + k-s? +o) + Ut + 2c.c 



Or on a grâce à la condition (4.27) 



c-C < C M |c| < C"2|d| , 
e -{-5T + 9) < I( / + 2|d|)max(-<^ + 0,O) , 

5>(î*"0 < ENI^-^l ^ 4(|&| + 2|d|)max|iK-*T 



On obtient donc que l'exposant exp est majoré par : 

\b\5? + A(\b\ +2\d\) max \ m - S?\ + \{f + 2\d\) max(-^ + 9, 0) + + ^\d\ , 

= L L \b\ + RJ + D t \d\ 

par définition de L L , R t , D L , puis : 

||Fp.^|| 2 < c 2 2 2d ^2 L ^ +R ^ +D ^\ [ [j2\Il i d b > ; i Afdf.g\ 2 drdA . 

J cJr l 

On note encore g:lx W"' x Z"' — > C la fonction g : P — > C étendue de manière triviale au 
sens (4.8). On a obtenu la majoration de la norme pour P G J e : 



||F P . ff |k (m) < C 2 2 2 ^) n î (2^9 A J 6l (2^A î ) 2dl (2^9 r ) / ," 2 



L 2 (RxR»'xZ»') 



Sommation sur P G J e 

Grâce à la formule de Plancherel pour g, on a : 

2e^2 , w \ e \ II 2 

■(m) — 

où est l'ensemble J t , auquel on a rajouté l'élément P = et pour lequel F' p = Id. 



||(Id + ^(H 2 + K)^||^ (m) < C 2 2 2 ^ £ H^ll^x^x^) , 
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Utilisons la formule de Plancherel sur L 2 (IR x W' x Z"') ; nous noterons les variables 
duales de l G Z v ' , A G R"', r G M par Îg T î/ , Â G R"' et f G M si u = 2v' + 1. 



Tli^-Xi) (2-(k-l)) (2~f) T.g\ l drdkdl , 



avec < |6| + / + |d| < 4e. En sommant sur ces paramètres, on a : 

E |n i (2*Â i ) 6 '(2*(î-l))*(2*r) / r 

0<|6|+/+|d|<4e 

= 1 + 2-^A, +2-^ + 2-^1^-11 



On en déduit : 



E 11 W < ^ 2 

0<H+/+M<4e 



•4e, 



T t \F.g\ 2 drdAdl , 



où on définit la fonction 
f, : 



(f,Â,î) 



1 + 2^^ + 2^ + 2^ 



Nous avons donc obtenu 



Id + S -(S 2 + Kr),||^ (m) <C 2 2 2 ^) 



^2e 



L^Kxr'xT"') 



Majoration de N L , e (g) obtenue 



Grâce à la formule de Plancherel sur 1x1" x Z v , la transformée de Fourier de l'opéra- 
teur T L , est égale à la multiplication par la fonction T L . Et donc ici, on a : 



^2e 

Z T. g 



||t->2<! II 



Résumons. Nous avons montré jusqu'à présent que pour tout e G N, on a : 

3C = C(p, e) > Vt G / Vg G L 2 {m) supp g C supp Xt : 
NJg) < C2 d M\\T*g\\ L2{wl) . 

Par interpolation, ce résultat est vrai pour tout e > 0. Ceci achève la démonstration de la 
proposition 4.15, et donc du théorème 4.13. 
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Chapitre 5 
Appendice 



La première section de ce chapitre est consacrée aux propriétés connues de certaines 
fonctions spéciales. La seconde section précise ce que nous avons appelé le passage en polaire 
sur les matrices antisymétriques. 



5.1 Fonctions spéciales 

Dans cette section, nous donnons les propriétés des fonctions T, J a de Bessel, C n , a de 
Laguerre, hk de Hermite Weber. 

5.1.1 Fonction T 

Nous rappelons : 

- l'équation fonctionnelle : 

Va G C- {0,-1,...}, ar(a) = r(a + l) ; (5.1) 

- pour p, q > 0, 

- l'estimation uniforme locale en x > lorsque y — > oo [Tit75] : 

T(x + iy) ~ V2Îre~% v \y\ x ~ï , 

dont on déduit : 

V[a,6] C]0,oo[ 3C>0 VxG[a,è] G M \T{x + iy)\ > C' 1 e~ 2y , (5.3) 
et lorsque n — > oo : 



* = ™ (5-2) 
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5.1.2 Fonction J a 

Pour a > 0, on définit les fonctions de Bessel réduites (comme [FH87], chapitre II) : 

y -a °° y 2v V(n/ -4- 1 ï 

Ji W = r(<, + i)( 5 ) ■/.W = EM) V^ + ali) ■ 

Souvent, on omettra le qualificatif "réduit". 

Grâce à son expression en série entière et à l'estimation pour z — > oo : J a (z) = 0(z"2) 
[Sze75] §1.71, la fonction J7a vérifie : 

= -££±^*W*) et J tt (.) = , 
1 (a + 2) 

et donc par récurrence sur fceN: 

Va;>0 < C k x~ a -^ . (5.5) 

Lemme 5.1 (Majoration des intégrales pour J a ) 

Les intégrales suivantes : 

/ \Ji k \s)\ 2 s"ds 

Js=0 

sont finies lorsque (5 > — 1 et P < 2a pour tout k EN. 
Les intégrales suivantes : 

/ \Ji k) (s)\Wds 

Js=0 

sont Unies lorsque (3 > — 1 et (5 — 1 < 4a pour tout fc£N. 

Démonstration du lemme 5.1: La fonction J7q, est entière. Donc les intégrales en sont 
finies. En oo, d'après la majoration (5.5), la première intégrale est finie lorsque : 2(— a — |) + 
/5 < —1, et la seconde lorsque 4(— a — |) + /3 < —1. □ 

Nous avons besoin des propriétés suivantes [FH87] : 

Lemme 5.2 

Pour un paramètre a de la forme a = (n — 2)/2, n E N, n > 3, la fonction de Bessel réduite 
se met sous la forme 



Jn=i(\x\) = I e i<x >y>da n ( y ) , 

2 J („) 



'5[" 

où 5" n désigne la mesure sur la sphère unité euclidienne S[ n ^ de M. n . 
Lemme 5.3 

Pour n > et a E C, le système : 

4xy" + 4ny' + ay = 
2/(0) = 1 

a pour unique solution C°° au voisinage de la fonction entière y(x) = J n -i{.H\fx) où fi 2 = a. 
Elle est bornée si et seulement si a > 0. 
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5.1.3 Fonction L n0l 

On note le polynôme de Laguerre de degré n et de paramètre a > — 1. On peut le 
définir par les conditions d'orthogonalité et de normalisation suivantes [Tha93, Sze75] : 

Vn,mel : / e - x x a L^\x)dx = F{a + l)C^ + J n , m . (5.6) 

Jx=0 

On appelle fonction de Laguerre de degré n et de paramètre a la fonction notée C n , a 
sur R donnée par : 

C n:a (x) = L a n (x)e~^ . 

On aura besoin de la fonction de Laguerre normalisée de degré n et de paramètre a que 
l'on note £ njQ et qui est donnée par : 

r 

C " ' " 



■"n,a 



s~tn 



La fonction de Laguerre normalisée est bornée par sa valeur 1 en 0. On omettra souvent 
le qualificatif "normalisé". 

Rappelons [Sze75] : d'une part le calcul des dérivés des polynômes de Laguerre : L%' = 
— L£l'i, dont on déduit : 

= ~2~£k,a — £k-l,a+l , (5.7) 

d'autre part la décroissance exponentielle des fonctions de Laguerre : 



3C>0 VfceN,xel + : \C k , a (x)\ < Ce 



■7X 



dont on déduit par récurrence sur l'égalité (5.7), que les fonctions de Laguerre normalisées 
C-n,a et leurs dérivées sont bornées indépendemment du degré k (mais pas du paramètre a 
et du nombre de dérivés). 

Lemme 5.4 ([FH87] proposition V.ll) 

L'équation hypergéométrique conûuente de paramètre a, 7 G C s'écrit : 

zy" + (7 - z)y' -ay = . (5.8) 

Pour 7 7^ 0, —1, —2, . . ., on appelle fonction hypergéométrique conûuente de paramètres a, 7 
la fonction entière notée F(a, 7; .) et donnée par : 

où l'on note pour (3 G C et k G N : (f3) k = f3((3 + 1) . . . (j3 + k). La fonction F(a,7; .) est 
solution de l'équation (5.8) de paramètre a, 7; et toute solution C°° au voisinage de lui 
est proportionnelle. 
Supposons 7 > 0. 
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1. Si a est un entier négatif : a = —l, l G N, alors F(ot, 7; .) est un polynôme, de Laguerre 
de degré l à un constante près : 

2. Si < 7 et si a n'est pas un entier négatif, alors on a l'estimation suivante pour z 
grand : 

F(a, T ,z) ~ ^eV^ . 
D'après [Mar82], lorsque a, a + f3 > — 1. on a les estimations suivantes : 



oc 



£ n) a + (3(x)\ 2 X a dx ~ 



x=0 



n a si f3 < \ 

n a \nn si fi = \ . (5.9) 

n a+2/3-l gi p > I 



On en déduit le lemme suivant : 
Lemme 5.5 

Pour j, a G N — {0}, les intégrales : 

/ {C^ix^x^^dx où 0<m<j , 

Jx=0 

sont bornées indépendemment de l tant que j < a. 

Démonstration du lemme 5.5: Grâce à une récurrence sur (5.7), £>[™}_i est une combi- 
naison linéaire de £;_ n y_i +n où < n < m ; ainsi il suffit de majorer pour < n < m les 
intégrales : 

jl ■ 7 \ f I M— n,a+n{ x ) *2 2i-l j 

I(a,j,l,m,n) = / | — j \ x J dx . 

J x =0 ^l +a 

D'après l'estimation (5.9) et grâce à la formule (5.4), on a les équivalents pour / grand : 

- si a + n — (2j — 1) > |, 

I(a,j,l,m,n) ~ (l - nf j ~ l ((yfr(a + 1))' ~ l 2j ~ l ~ 2a e 2a T(a + l) 2 ; 

- si a + n - (2j - 1) > \ 

I(a,j,l,m,n) ~ (l - n) ^(a + n-( 2j -i))-i ( ( ^ r(a + 1} ) 2 

~ /- 2 ^- 1+2 V a r(a + l) 2 . 

Donc les intégrales I(a, j,l,m,n),0 < n < m < j sont bornées indépendemment de / tant 
que 2j - 1 - 2a < 0. □ 
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5.1.4 Propriétés des fonctions C 



n 




On adopte la notation : 



£/ ; — £1,0 




D'après les conditions (5.6) d'orthogonalité et de normalisation des polynômes de La- 
guerre, les fonctions : 



forment une base orthonormale de l'espace L 2 (W'). 
Opérateurs de Décalage 

Opérateurs r + , r - , A. Pour une fonction R définie sur N, on définit les fonctions de 
décalage t + ,t~ par : 



L'opérateur A commute avec r + et t~ . 

Nous montrons ici que grâce aux propriétés des polynômes de Laguerre, certains opéra- 
teurs de décalage sur la fonction de Laguerre Ci sont égaux à des opérateurs de dérivation 
ou de multiplication par la variable. 

Opérateur f3. D'après [Sze75] page 101, on a : 




x L h : x = (xi, . . . , ay) G W' h-> nf =1 £, . (xj) , Z = (Zi, . . . , l?) G W' 




On définit l'opérateur de différence sur les fonctions de N : 



A = r+ - Id 



lU(x) 



{-x + 21- l)L,_i(a;) - (/ - l)L,_ 2 (a;) 



donc ici : 



xCi(x) 



(l + l)£,+i (x) + (2/ + l)A(x) - ICi-xix) 



On pose alors pour une fonction R : N — > C : 



/3..R := -(Z + l)r + .i2 + (2/ + l)i? - Zr _ .i2 



et on a : 



(3.Ci{x) = xCi(x) 
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Opérateur a. Encore d'après [Sze75] page 102, on a : 

xL\{x) = l (L t (x) - Lj_i(a;)) 



donc ici : 



xC\{x) = xe 2 (l\(x) - ^(x^j 



-S. ( 1 

= e * \l{Li{x) - Li-^x)) - -xLi{x) 

= Z(£K*)-4-i(z))-^C,(aO • 
On pose alors pour une fonction i? : N — > C : 

a.R := l(R - t~.R) - \(5.R := ~R - 1 -t~ .R + ^-^r+.iî , 

et on a : 

aXj(i) = xC'i{x) 
Opérateur 7. Toujours d'après [Sze75] page 102, on a : 

L (a) = L (a+1) _ L (a+1) ^ jja)' = 

/ / / 1 / / 1 ' 

et donc : 

L\ - L\_ x = —L1-1 . 
En utilisant l'expression de a et cette dernière égalité, on a : 

a A = - ^£'1-1 + l -^ L £>'i+i 

( 1 , / , i + i T , 1,1 / i + i T , 

= e ^ {--L\ - -LU + _ L' l+1 - -{-- Ll - -L1-1 + — ^ 

/ _ /+ 1 _ 1, l r Z Z + l 

~2 1 2~ ~ 2 2 ~ 2 H 2~ 

2/ • 1 / Z + l 

= e 2 ( Li - -L^ - —Ia+i 



On en déduit : 



w 2Z + 1 l l + 1 

«•A = — ^— A - - — 4+i 



On définit l'opérateur sur les fonctions de N : 

2Z + 1 l Z + l , 
7 := 1 r t 

! 4 4 4 

et on a : 

= ®A . 
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Lien entre les opérateurs A et a, (3, 7 

On vérifie directement : 

4(« 2 + a) = -r- 2 ((Z + 2)(Z + 1)A) - r~ ((/ + 1)1 A) + (Z + 1)(Z + 2)(A 2 + 2A) (5.10) 

2a = (Id + r")(ZA) + r + + r" , (5.11) 

/3 = -r-(ZA 2 ) - (2Id-r-)A , (5.12) 

4 7 = -r~(ZA 2 ) - (2Id - r~)A + 2(2Z + l)Id . (5.13) 

Sur les fonctions de deux variables Zi,Z 2 entières, on en déduit en particulier : 

ai- a 2 = (rf + 7)(Zi + 1) Ai -(r 2 - + /)(Z 2 + l)A 2 (5.14) 
2(a l + a 2 + 2a 1 a 2 ) = (Id + rf)(Zi + 1) Ai + (Id + r 2 _ )(Z 2 + 1)A 2 

+(Id + rf)(Id + r 2 -) (Zi + l)(Z 2 + l) AiA 2 , (5.15) 

4 7l/ 3 2 = 4/5 1 /3 2 -2r 2 -(2/ 1 + l)Z 2 A 2 -2(2Id-r 2 -)(2Z 1 + l)A 2 .(5.16) 

On cherche à écrire la puissance de certains opérateurs en fonction de A, la multiplication 
par Z, à des décalages près. Précisons la forme de ces décalages : c'est une combinaison linéaire 
finie à coefficients rationnels en les opérateurs r + et r~ où k + ,k~ G N. On peut donc 
l'écrire sous la forme : P(t + ,t~) := P(r ± ), où P G Q[X, Y] est un polynôme de deux 
variables à coefficients rationnels. 

Comme on calcule directement : [r +p , 1} = pr +p et [r~ p , l] = —pr~ p , on a : 

VPeQ[X,Y], 3\Q p eQ[X,Y] : [P(t±),1] = Qpi-r*) . (5.17) 

On remarque que les termes suivants (pour P G Q[X, Y]) : 

w:=lAP(r ± )l q , x :=lA 2 P(r ± )l q , 

peuvent se mettre sous la forme d'une somme de terme du type P(r ± )Z r A s où P G Q[X, Y] et 
r, s G N. En effet, d'une part, d'après la propriété (5.17) et la commutativité des opérateurs 
A, r ± , il existe un polynôme Q G Q[X, Y] tel que 

w = (P(r ± )Z + Q(r ± )) A/ 9 et x = (P(r ± )Z + Q(r ± )) A 2 / 9 ; 

d'autre part, on connait le commutateur : [A,l q ] = T + {l q — (Z — \) q ) ; calculons l'autre com- 
mutateur [A 2 ,Z 9 ]. en commençant par : 

A 2 Z« = AZ^A - A[l q , A] = (l q A - [l q , A}) A - A[l q , A] ; 

on déduit de l'expression de [A, l q ] : 

[A 2 ,Z 9 ] = -[l q ,A]A- A[l q ,A] 

= -t+ (l q - (Z - l) q ) A - Ar + (l q - (Z - l) q ) ; 
A (l q - {l - If) = l q A - r + (l q - (Z - If) 

-(Z - lf A + r+ ((Z - lf - (Z - 2f ) 
= (l q -(l-l) q )A + r + (-l q + 2(l-l) q -(l-2) q ) , 
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puis grâce à la commutativité des opérateurs A et r + : 

[A 2 , l q \ = -r+ {2 (l q - (l - l) q ) A + r+ {-l q + 2(1 - l) g - (l - 2) q )} ; 
on en déduit : 

w = /AP(r ± )/ 9 

= {P(r ± )l + Q(r ± ))(l q A + r + (l q -(l-ir)) , (5.18) 
x = /A 2 P(r ± )/ 9 

= (p^z + q^^a 2 

+r + {2(/ 9 -(/-lf)A + r + (-/ 9 + 2(/-lf-(/-2f)}) . (5.19) 
Lemme 5.6 (Puissance de j3) 

Pour p G N, p > 1, l'opérateur f3 p est la somme sur q — 0, . . . , p des opérateurs : 

P^r^/W^ où P q EQ[X,Y] . 

Démonstration du lemme 5.6: Le cas p = 1 est évident d'après l'égalité (5.12). Montrons 
ce lemme par récurrence. On fixe p, et on suppose la propriété du lemme vraie au rang p. 
Montrons maintenant que la propriété du lemme est alors vraie au rang p + 1. D'après 
l'expression (5.12) de (3, et l'hypothèse de récurrence, on a : 

P p+l = (-r^(/A 2 ) - (2Id - r")A) (P q {r-)l q N> +q ) 

= -T-lP q (T ± )A 2 l q A p+q - (2Id - t~) (P,(t ± )AZW +,? ) , 

car les opérateurs r~ et A commutent. Le premier terme du membre de gauche est de la 
forme voulue grâce au calcul (5.19) ; le deuxième l'est également, car on a déjà directement 
calculé : [A, l q ] = r + {l q -{l-l) q ). □ 

On aura également besoin de l'expression des puissances de l'opérateur d\ — a/\ en 
fonction de A : 

Lemme 5.7 (Puissance de d\ — ol/X) 

Pour une fonction 

f RxN -> C 

\ X,l h-> R(X,l) 

l'expression 

(ô A -^) P .P(A,/) 
peut s'écrire sous la forme d'une somme sur 

(a, b, c, d) G N 4 tels que a + b = p , b + c < p , <i<c , 
de termes de la forme : 

Pa,6^(r ± )A- a ^(/ d A c ).P(A,/) , où P a , b , c>d eQ[X,Y] . 
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Démonstration du lemme 5.7: Le cas p — 1 est évident d'après l'égalité (5.11). Montrons 
ce lemme par récurrence. On fixe p, et on suppose la propriété du lemme vraie au rang p. 
Montrons maintenant que la propriété du lemme est alors vraie au rang p + 1. D'après 
l'expression (5.11) de a, et l'hypothèse de récurrence, l'expression 

peut s'écrire sous la forme d'une somme sur le quadruplet (a, b, c, d) G N 4 tel que a + b = p 

et b + c < p, d < c de : 

(ft - (M+T ' )( '^ +T++T " ) w^r-atrtwo , 

donc e; la commutativité des opérateurs en A et /, sous la forme : 

P a , b , c , d (T ± )d x \- a & x (l d A c ).R (A, l) + \(ld + r-)(lA)P aAc , d (r ± )\- a - 1 d b x (l d A c ).R (A, l) 

+ ^^P a , b Mr ± )^ a - 1 d b x (l d A%R (A, /) , 

Le dernier terme de la somme précédente se met sous la forme voulue. De même pour le 
deuxième grâce au calcul (5.18) et à la commutativité des opérateurs en A et l, ainsi que 
pour le premier, car on voit : d\\~ a d b x = —a\^ a ~ l d\ + A~ a <9^ +1 . □ 

5.1.5 Fonction de Hermite-Weber 

Les fonctions de Hermite-Weber hk,k G N sur R sont données par : 

h k (x) = (2 k k\^y~ 2 e-^H k (x) où H k (s) = {-if e s \d/ dsf e^ 2 , 

H k est le polynôme de Hermite de degré k. 

Rappelons (voir section 5.6 de [Sze75]), que les fonctions de Hermite-Weber h k , k G N 
sur M forment une base orthonormale de L 2 (M) et que chaque fonction h k vérifie l'équation 
différentielle : y" + (2k + 1 - x 2 )y = 0. 

On définit les fonctions de Hermite-Weber h a ,a G N n sur M n par : 

5.2 Matrices antisymétriques 

Nous précisons ici les coordonnées polaires sur l'ensemble A v des matrices antisymétriques 
de taille v. On aura à distinguer les cas v — 2v' et v — 2v' + 1. On note 0(v) le groupe des 
matrices orthogonales, et SO(v) le groupe des matrices orthogonales de déterminant 1. 
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5.2.1 Réduction 

Le groupe 0(v) agit par conjugaison sur A v : 

VA; G 0(v) ,Ae A v : k.A = kAk^ 1 . 

Pour en décrire les orbites, on définit le simplexe C, et son adhérence £ : 

C := {A = (Ai, . . . , A„/) G R v ' : Ai > . . . > A„/ > } , 
C := {A = (Ai, . . . , A„/) G R v ' : Ai > . . . > X v > > } . 

À un élément A G W' , on associe la matrice antisymétrique D 2 (A) de taille v 

AiJ 



£> 2 (A) 









A,/ 1/ 



(0) 



où J 



1 
-1 



c'està dire : 



si v=2v' 



AiJ 






A,,' J 



et si v=2v'+l 



AiJ 




A^/ J 



P(x) 



Proposition 5.8 (A„/0(v)) 

Toute matrice antisymétrique A G A v est orthogonalement semblable à une matrice diago- 
nalisée par bloc 2-2. En effet, le polynôme caractéristique de A est de la forme : 

nti(x 2 -Ai 2 ) siv = 2v' 
xH»' =l (x 2 - \i 2 ) si v = 2v' + l 

où A = (Ai, . . . , A„') G W' ; il existe une matrice orthogonale k G 0(v) telle que : A = 
k~ l D 2 {A)k. On peut choisir A G C. 

La démonstration se fait de manière élémentaire par récurence sur la taille v de la matrice, 
et grâce aux propriétés des endomorphismes normaux. 

On définit plus généralement pour A G 1" , la matrice antisymétrique D\{N) de taille v : 



D\ (A) 



AiJ 






\ V >-\J 



€\ v i J 



(0) 



où e G {1, -1} 



Évidemment, on a D\{N) = D 2 (A), et -D2(Ai, . . . , A„/) = D 2 (Xi, . . . , — X v >). 
Proposition 5.9 (A„/SO(v)) 

Pour toute matrice antisymétrique A G A v il existe k G SO(v), A G C et e = ±1 tels que : 
A = k- 1 D £ 2 (A)k. 
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5.2.2 Isomorphisme Sp(n) fl 0(n) ~ £/ n 

Définissons pour n G N — {0}, les matrices antisymétriques de taille 2n x 2n : 

J ... 
... -J 



a;i + rç/i,...,a; n + rç/ n , 
xi + ij/i,...,x n _i + iy n _i,j/ n + ia; n . 

Proposition 5.10 (Matrices orthogonales commutant avec J£) 

Soit n G N — {0}. Les matrices orthogonales de taille 2n qui commutent avec ont pour 

déterminant 1. On a un isomorphisme ip^ 1 '^ entre 

- le groupe des matrices 2n — 2n orthogonales qui commutent avec J e n , 

- le groupe U n des matrices unitaires de taille n. 
Il vérifie : 

Vk,X : ^\k.X) = i/>[ n ' e \k).i/>i n ' e \X) . 
On notera '?/>j n ' +1 ' ) = . 



°n ■ <J n 



J 



J 



et J„ 



-i 



et la complexification : 

ipi n '~ 1] : x 1 ,y 1 ,...,x n ,y> 



Démonstration rapide de la proposition 5.10: Soit k G 0(2n) qui commute avec J e n . Une 
base de l'espace propre associée à la valeur propre —1 pour k peut s'écrire sous la forme : 
e±, Jn-ei, e 2 , Jn- e 2 ■ ■ ■ donc la dimension de ce sous-espace propre est paire et det k — 1. 

Écrivons la matrice k par bloc 2-2 : 

&2J-l,2c-l &2Z-l,2c 
k 2 l, 2c ~l ^2Z,2c 

On définit les coefficients d'une matrice complexe u u\ fi = k 2 \-\^ 2c -\ + ik 2 i, 2c -i, 1 < < n, 
si e = 1, et si e = — 1 : 




k 2 i-i,2c-i + ik 2 i,2c-i, si 1 < i, j < n, 

k 2 i-i,2n ~ ik 2 i-i,2n-\ si (i, j) = (i,n) ^ (n,n), 

^2n,2c-i - ik 2n ,2c si (i, j) = (n, j) ^ (ra,ra), 

k 2n , 2n ~ ^2n,2n-\ si (i,j) = (n,n). 



Comme la matrice est orthogonale, la matrice u est unitaire. □ 



k' 



ra,l 



ou 



139 



5.2.3 Passage en coordonnées polaires 

En fait, nous allons nous intéressés à l'ensemble V v des matrices antisymétriques aux- 
quelles on associe comme dans la proposition 5.8 A G C C C On obtient le passage en 
coordonnées polaires : 

Lemme 5.11 (Passage en coordonnées polaires) 

II existe r] une mesure sur le simplexe £cl" donnée par : 



drj(A) 



cIi 3<k {X) - X\fdA 



si v = 2v' 



cUiXfU^kiXj - XlYdA si v = 2v' + l 



[où dA = dXi . . . dX v i) ; 



la constante c est telle que l'on ait le passage en coordonnées polaires sur l'ensemble des 
matrices antisymétriques A v : 



[ g(A)dA = [ [ g(k.D 2 (A))dr)(A)dk 

JAv JO{v) JC 



(5.20) 



Ce lemme est déjà bien connu : dans [Str91] (page 398), on renvoit à [Hel62] page 382. Nous 
le montrons ici "à la main". 

Nous avons besoin aussi de résultats sur le Laplacien sur A v . Rappelons que lorsque la 
base canonique de l'espace vectoriel A v est E it j,i < j où E it j désigne la matrice antisymé- 
trique dont toutes les entrées sont nulles sauf celle de la ième ligne et jème colonne qui vaut 
1 et celle de la jème ligne et ième colonne qui vaut -1, le laplacien sur l'espace vectoriel A v 
est donné par : 

\ï /•:,,, /•:,,) . 

i<j 

Nous aurons en fait besoin de l'expression du Laplacien en coordonnées polaires sur le sous 
ensemble V v . Pour cela, définissons l'application 



i> : 



0(v) x C 
k, A 



A 

k.D 2 (A) 



dont l'image est V V7 le sous groupe K r de 0{v ) comme l'ensemble des matrice de la forme : 



'• 



On voit : 
On note 







(1) 



la matrice r$ désigne une rotation du plan : 



ou 



cos 6 — sin 6 
sin 9 cos 9 



K r = {ke 0(v) VA G £ ip(k, A) = D 2 (A)} . 



140 



- l'espace homogène K = 0(v)/K r comme variété quotient de 0(v) par le sous groupe 
K T (l'action considérée est celle à droite), 

- p : 0(v) — > K la submersion canonique, 

- dk la mesure sur la variété homogène induite par les deux mesure de Haar normalisée 
de masse 1. 

On peut donc définir l'application que l'on note encore ip : 



ij : 



K x C — ► A v 
p(k),A i— > k.D 2 (A) 



qui devient une bijection sur T> v , et aussi un difféomorphisme de variétés. 

Précisons les espaces tangents de ces variétés. Évidemment, on identifie TC ~ M? et 
TA V ~ M 2 en tout point. On munit l'espace 0(v) des cartes locales au point k G 0(v) : 



( a i,j)l<i<j<v ' * k eX P a ^ E ^ ' 



où exp désigne l'application matricielle exponentielle, et E it j, l<i<j<v\& base cano- 
nique des matrices antisymétriques donnée plus haut. L'espace tangent au point k peut donc 
s'identifier à 

TfcO(f) ~ {kA , A matrice antisymétrique de taille p } . 

Par passage au quotient, lorsque l'on a choisi k G 0(v) tel que p(k) = k pour chaque k, la 
variétés K est munie des cartes locales au point k : 

et l'espace tangent au point k peut donc s'identifier à 

matrice antisymétrique de taille p, 



^k-K <^kA , A rï on ^ j eg fo\ ocs 2_2 sur la diagonale sont nuls 

dont nous fixons la base canonique formée par les vecteurs kE it j, pour 1 < i < j < v et 
(hj) (2^ — 1,2k). Lorsqu'il n'y aura pas de confusion possible, on notera de la même 
manière k G 0(v) et son image p(k), et de même pour les vecteurs des espaces tangents 
TO(v) et TK. On identifie A (K x C) ~ T^-K" © Ta£ et sa base canonique est donc formée 
par les vecteurs suivants : 

- les vecteurs E it j = kE it j, i < j, (i,j) ^ {21 — 1, 21), 

- les vecteurs £^-1,2/, l — 1, ■ ■ ■ , v', le vecteur colonne de TC ~ W"' dont toutes les entrées 
sont nulles sauf la /ème qui vaut 1 ; on peut les identifier au champs de vecteurs d\ i 
dérivée en les variables de A. 

Dans la suite, on identifie la différentielle D k ^ip à l'application linéaire sur T^K © T\C. 
Elle est donnée par : 

D kA 4>(ke tÂ ,A) = ^ i){kê^, A + uÂ) . 

att=oau u =o 
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Lemme 5.12 (Laplacien en coordonnées polaires) 

Soit f une fonction sur A v ,v > 1. On pose g — f o ip : c'est une fonction sur K x C On a 
pour A = ip(k, A) ; 

Af(A) = J2 d l9 + J2 E Dl A g{Dr\k.E^ n ),Dr\k.E m , n )) 

l i<j (m,n)elij 

i<j 3 1 

+ E E ^D*.g(Ê lv ,Ê lv )-?-d Xi .gsiv = 2vi + l 

i i=2i,2i-l 1 

On a omis l'argument (k, A) de g et de ses dérivées. Les sommes sur un seul indice se font sur 
l'ensemble {1, . . . , v'}. Les sommes indicées par i < j se font sur l'ensemble {1 < i < j < v'}, 
qui est vide lorsque v' = 1. Pour 1 < i < j < v',v' > 1, on a noté I^j = {(2i — 1,2 j — 
l),{2i,2j),{2i-l,2j),{2i,2j-l)}. 

On a le calcul explicite des D^~ x {k.E m;n ) = D k ^ip~ l {k.E m ^ n ), {m,n) G : 

Dip~ l (k.E 2 i-i2j-i) = X i\i (—XjÊ 2 i-i ! 2j + X i E 2 i ! 2j-i) 
Dip~ 1 (k.E 2 i t 2j ) = X 7zK? (—\iE 2 i-i t 2j + XjE 2 i i 2j-i) 
Difj~ 1 (k.E 2i ^ lt2j ) — ^ * ^ (XjE 2 i-i j 2j-i + \E 2it2j ) 

3 % 

Dip~ 1 (k.E 2 i j2 j-i ) = X '2_ x -2 (—XiE 2 i-i l 2j-i — XjE 2 i t2 j) , 
où on a noté E it j = kE it j, i < j, ^ {21 — 1, 21). 

5.2.4 Démonstrations 

Nous démontrons ici les deux lemmes de la sous section précédente. 

Démonstration de lemme 5.11 

Comme V v est un ouvert dense de A, on a : 

/ g{A)dA= f g{A)dA= f I ' g(k.D 2 (A))\ det D kA i>\ dkdk , 
JAv Jv v Je Jk 

où det Dk,\ip le déterminant de l'application linéaire D kt \ip vue dans les bases canoniques 
des espaces tangents. 

On note Iij est l'ensemble ordonné : 

Iij = {(2î-l,2j- 1), (2i, 2j), (2i - 1, 2j), (2i, 2j - 1)} . 

Nous allons expliciter D k; \ip, son déterminant et ainsi que son inverse Dip -1 dont nous 
aurons besoin dans la démonstration de lemme 5.12. 
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On a pour kÂ G T k O(v) 



D(k,h)ip{kA) = k.[A, D 2 (A)] (le crochet est celui des matrices) 



On a pour A G TC 



£> (fe ,A)V(A) = k.D 2 (A) . 



L'application linéaire D^^ip envoie 

— * 

- E 2 i- lj2 i sur k.E 2i _ lt2l , l = 1, . . . ,v'. Donc on a 



Dip 1 k.E 2 i- 1:2 i = Ê 2l _ h2l = d. 



pour tout i < j (lorsque v' > 1), l'espace vectoriel Vij engendré par les vecteurs 
Ei tTn , (l,m) G Iij sur l'espace vectoriel k.Vij engendré par les vecteurs k.E^ m , (l,m) G 
Iij. De plus l'application D^ t A)ip restreinte au départ à Vj et à l'arrivée à k.Vij se 
représente dans la base de départ E^ m , (l,m) G hj et d'arrivée k.E^ m , (l,m) G hj par 
la matrice : 

-Xj -Xi 





Xj —Xi 
Xi —Xi 



Xi Xi 













dont le déterminant est (Xf — A^) 2 , et l'inverse est 



A 2 -A? 








Xj -Xi 
Ai -Aj 



-Xj -Xi 
Ai Xj 



On en déduit le calcul explicite des Dip~ 1 (k.E rriin ), (m,n) G Uj donné dans l'énoncé 
du lemme 5.12. 

- E 2ijV sur —Xik.E 2i _ lv et E 2i _ ljV sur Xik.E 2i)V (lorsque v — 2v' + 1) pour i = 1, . . . ,v'. 
Et donc en restriction à E 2ijV , E 2i _^ v et à son image, le déterminant de Dip est Xf et 
son inverse est donnée par : 

1 - 1 - 

Dil)- 1 (k.E 2itV ) = —E 2i _ ltV et Dtl)- 1 (k.E 2i _ 1}V ) = -—E 2itV . 

\ Aj 

On en déduit : 
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Démonstration du lemme 5.12 

Comme le laplacien est égale à la trace de la matrice hessienne dans la base canonique 
{E mtn } 7 et dans toute autre base orthonormée {k.E m ^ n } pour tout k G 0{v) et en particulier 
pour k de la décomposition en polaire de A, on a : 

Af(A = k.D 2 (A)) = D 2 f(E m , n , E m , n ) = ^ D 2 f(k.E m , n , k.E m , n ) . 

m<n m<n 

Comme Df o Dip = Dg, on a : 

D 2 f(D^,D^) + DfD 2 ^ = D 2 g , 

et donc sur V v , on a : 

D 2 f = (D 2 g - DgoDip- 1 o D 2 ip) (Dip-\Dïp~ l ) . (5.21) 

Pour obtenir la formule, il nous suffit d'expliciter l'opérateur encore D 2 ip ainsi que les 
expressions Dip~ l (A) et Dip -1 o D 2 ip(Difj~ 1 A,Difj~ 1 A) pour des matrices A = k.E m)Tl . 
Concernant D 2 ip, on voit que : 

D 2 i;(kÂ 1 ,kÂ 2 ) = k.[Â 2 ,[Â u D 2 (A)]] , (5.22) 
D 2 ^(Ai,A 2 ) = . (5.23) 

Explicitons Di[)~ l o D^Dip-^A), Di)- 1 (A)) : 

- pour A = k.E 2 i-i t 2i, d'après (5.23) : 

D 2 ^j(Dij-\k.E 2l _ h2l ), D^j-\k.E 2l ^ 2l )) = D 2 ^{È 2l _^ 2h Ê 2l _ 1;2l ) = , 
et donc Dtp' 1 o D 2 ^(D^~\A), D^' 1 {A)) = 0. 

— * — * 

- pour A G k.Vij (lorsque v' > 1) : on pose kA = Dtp (A) G V^j calculé précédemment. 
On a donc d'une part : 

Dip(kÀ) = A = k.[Â, D 2 (A)] , 

et d'autre part, d'après (5.22) : 

D 2 ^(D^\A),D^-\A)) = D 2 ^(Â,Â) = k.[Â,[Â,D 2 (A)]] 

= k.[Â,k- 1 .A] = [k.Â,A] . 

— * — » 

Dans les 4 cas A = k.E mtTl , (m, n) G 

lï.ii on a k.A — E m n par choix de notation donc : 
[k.A, A] = 1 2 (-\jk.E 2 j-i,2j + \ik.E 2i _ 1)2i ) , 
d'après ce qui précède, puis : 

Dip" 1 o D 2 ^j(Dij~\A), D^-\A)) = l _ { \,i: 2l + \iÊ 2i _ lt2i ) . 
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- pour A = k.Ei ;V , l — 2i, 2i — 1, 1 < i < v' (lorsque v — 2v' + 1) dans les deux cas : 
D 2 iP(Dip-\A), D^~\A)) = [k.Â, A] = -\~ l k.E 2i ^ 2i , 

puis 

Dip" 1 o D 2 ^{D^-\A), D^-\A)) = -\~ 1 Ê 2i -i,2i ■ 

Et donc, grâce à l'égalité (5.21), on obtient les expressions de D 2 f(kE mn ), puis l'on 
somme. On obtient l'expression de lemme 5.12 voulue. 
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